Airflow提供rest API功能来提取dag/任务状态。https://airflow.apache.org/docs/apache-airflow/stable/stable-rest-api-ref.html#section/Trying-the-API但是想知道是否有一种方法可以仅获得所有dag</e
浏览 27提问于2021-08-26得票数 0
有没有办法通过Airflow api获取最新DAG运行的当前状态？我尝试过这个实验性的api：但这只提供了有关任务的信息，而不是每次运行的状态。基本上，我需要能够获得任务最近运行的结果-成功、失败、排队等。
浏览 32提问于2018-12-17得票数 0
在多个任务由相应的pubsub消息触发的情况下，处理来自pubsub消息输入的数据，最后一个任务仅在所有这些工作流完成时触发。我设法使用PubSub触发整个DAG (在此guide之后对PubSub进行了修改)，但它触发整个DAG，而不是单个任务。有没有办法从外部(从Cloud Function/PubSub)触发DAG中的1个任务？编辑 这是我所认为的DAG代码的简化版本： import google.cloud.bigquery as b
浏览 21提问于2021-03-23得票数 1
回答已采纳
我正在学习Apache气流，并尝试编写hello world版本的它。我已经用python版本3.8和下面的包含dag和任务的代码安装了airflow版本2.0import logging
我已经按照以下方式配置了apa
浏览 7提问于2021-02-07得票数 2
回答已采纳
在AirFlow2.0中，您可以通过运行CLI命令airflow tasks states-for-dag-run来获取dag中任务的状态。(请参阅此处的文档：https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html#state_repeat1)
浏览 66提问于2021-06-17得票数 1
回答已采纳
1回答
假设我有一个计划每天运行的DAG，今天是星期天。有没有办法告诉Airflow重新运行从周一到今天的所有DAG运行？
浏览 12提问于2019-06-21得票数 1
回答已采纳
我似乎不了解如何将模块导入到apache airflow DAG定义文件中。例如，我想这样做是为了能够创建一个库，使具有类似设置的声明任务不那么繁琐。这是我能想到的重复这个问题的最简单的例子:我修改了airflow教程(https://airflow.apache.org/tutorial.html#recap)，只需导入一个模块并从该模块运行一个定义located at:
http://airflow
浏览 197提问于2017-12-28得票数 29
回答已采纳
我有以下场景/DAG；start task-->|--->Task4---|
当前tasks、Task2、Task3、Task4为ShortCircuitOperators，当Task1、Task2其中之一为ShortCircuted时，跳过所有下游任务但我的要求是在合并任务时打破传播到Task3和Task4的跳过状态。因为无论上游发生什么，我都希望Task3和
浏览 3提问于2020-09-15得票数 1
我被要求学习Docker，以便我们最终能够在Apache Airflow Docker + Kubernetes集群中设置我们的web抓取脚本。如果我用错了这些术语，那是因为我是码头的初学者。到目前为止，Apache Airflow确实有自己的映像，但是他们的表明，安装python包的唯一方法是通过pip install --user -r requirements.txt安装，我已经将pip这就是我放弃的地方，但我在想，也许最好使用playwright自己的映像，然后手动构建apache</em
浏览 23提问于2022-05-30得票数 6
我在Airflow中有一个任务，它使用持续运行的bash操作符。有没有办法让任务实例在下一次计划运行之前成功？我知道如何在api中将其标记为成功。感谢您的回复
浏览 26提问于2021-05-04得票数 0
1回答
我需要用AWS、Lambda或其他方法禁用气流DAG。为了做到这一点，我可以使用python代码吗？提前谢谢你。
浏览 3提问于2022-03-08得票数 0
回答已采纳
我想调用两个不同的函数来表示dag的失败和成功。为此，我想在DAG()函数中使用on_failure_callback和on_success_callback。根据我的要求，这个回调应该是在dag级别，而不是任务级别。这就是为什么我要在声明dag变量的同时编写这个带有内部DAG()函数的回调。 但是这个回调函数没有被调用。同样的函数，如果我在任务级调用，则工作正常。这是我的代码： def success():
print("successful&q
浏览 19提问于2021-01-28得票数 2
我对DAGs、气流和Python语法有点陌生(我从Java中学到编码)，但我有一个DAG，它有大约10个相互独立的任务，而另一个DAG只有在所有10个任务都成功的情况下才能运行。因为按照我的方式，如果一个任务失败，DAG仍然运行其他任务，DAG被标记为成功。(这就是我想要的)
是否有一种方法可以使新任务(任务11)通过其他任务并检查它们的状态？我找不到返回任务<e
浏览 0提问于2020-08-20得票数 2
我想直接查询apache airflow数据库，以获得失败任务的报告，但我正在努力在数据库中进行适当的连接。我想要的是由以下列组成的输出
dag_run.dag_id dag_run.run_id dag_run.state dag_run.conf task_instance.task_id task_id.state基本上是所有dag_runs及其任务状态的sql dump；类似于“Graph”
浏览 11提问于2018-01-24得票数 1
回答已采纳
2回答
我正在Composer上开发一个DAG；我的代码被分成一个主python文件和一个带有子文件夹的包，如下所示：package1/__init__.py但是Web引发了得到了一个意外的关键字参数'new_argument‘
我尝试
浏览 0提问于2018-06-28得票数 1
我在运行Apache气流1.8.1。我希望在我的实例上运行32多个并发任务，但无法使任何配置工作。我使用的是CeleryExecutor，UI中的气流配置为parallelism和dag_concurrency显示了64，我已经多次重新启动了气流调度程序、web服务器和工作人员(我实际上正在Vagrantfrom datetime import datetime
from airflow.operators.bash_o
浏览 0提问于2018-12-05得票数 4
回答已采纳
我查看了Airflow提供的不同API端点，但我找不到一个适合我的需求。本质上，我希望监视DAG中每个任务的状态，而不必指定我试图监视的每个任务。理想情况下，我可以ping通DAG，响应将告诉我任务的状态以及正在运行/重试的任务...等
浏览 20提问于2021-10-28得票数 0
我有一个任务被配置为重试3次。如果原始故障的例外情况是某种类型的话，我想执行一些逻辑。例如，从任务的运行2中可以从第一次尝试中提取异常吗？
浏览 5提问于2022-11-14得票数 0
我正在使用带有KubernetesExecutor的apache airflow。我在Minikube中运行设置，它工作得很好，这意味着只要DAG触发，它就会为标记中的每个任务生成pod，并在任务完成后删除pod。与测试Kubernetes env中的情况相同，但当我在那里触发DAG时，它会为DAG中的第一个任务创建pod，并立即从状态中删除该pod。Airflow UI具有该任务的空日志，因此无法
浏览 22提问于2019-07-16得票数 2
在使用Apache Airflow的TaskFlow API定义DAG时，有什么方法可以使用airflow.utils.edgemodifier.Label吗？但在中，似乎没有一种方法可以包含标签，因为DAG是通过对象在任务之间传递的方式来推断的。
有没有办法做到这一点？
浏览 5提问于2021-06-30得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
