1回答
我的想法是有一个任务foo，它生成输入(用户、报告、日志文件等)的列表，并为输入列表中的每个元素启动一个任务。目标是利用Airflow的重试和其他逻辑，而不是重新实现它。因此，理想情况下，我的DAG应该如下所示：
这里唯一的变量是生成的任务数。在所有这些任务完成之后，我想做更多的任务，所以为每个任务创建一
浏览 5提问于2017-06-19得票数 2
回答已采纳
1回答
我使用的气流1.9.0与自定义SFTPOperator。我在我的DAG中有代码，用来轮询SFTP站点来查找新的文件。如果找到任何文件，则为动态创建的任务创建自定义任务id，并检索/删除文件。看起来，气流all服务器和气流调度器每秒钟迭代一次所有的DAG，并实际运行检索directory_list的代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取
浏览 0提问于2018-08-03得票数 2
回答已采纳
我如何配置气流(mwaa)，使它将在同一时间(早上6点PST)，每天考虑何时部署？
start_date = previous_five_am
似乎每当我通过将start_date设置为前一天早上5时进行部署时，无论我何时部署进程或执行气流更新，它都会在接下来的6点启动。
浏览 2提问于2021-02-20得票数 3
当多个“KubernetesPodOperator”任务定义在一个气流DAG中时，所有任务都并行执行。如何在没有依赖项的情况下依次执行任务？我不想修改气流配置
浏览 5提问于2022-11-08得票数 0
回答已采纳
我有一个进程，它告诉另一个进程按照特定的顺序创建哪些任务。，它每5分钟左右运行一次，以保持该文件的更新。这每天运行。如何使用气流在两个DAG之间传递这些数据。使用气流变量的问题在于，我无法在
浏览 1提问于2021-10-21得票数 0
Apache Airflow有MYSQL表，如dag、dag_run、作业
维护dag元数据字段，包括dag运行时。但是，如果这些表的频率和报告查询负载增加，则让外部查询作业查询这些生产气流表以检查上次运行完成可能不是一个好的设计实践。另一个可能的选择是在airflow dags中添加python代码来维护另一个单独的数据库表，这将保存每个运行<
浏览 0提问于2018-12-10得票数 0
回答已采纳
1回答
我刚接触过气流，最近开始探索这个工具。我在ubuntu机器上安装了1.10.10版本，它是18.4 version.From，安装和安装方面一切都很好，，但是我在任何DAG中的任务都没有运行，它们总是处于队列状态，如气流WebUI所示。当我查看任务实例的详细信息时，我发现任务实例的状态为：任务处于'None‘状态，这不是执行的有效状态。
浏览 1提问于2020-06-22得票数 4
假设我有一个示例DAG的代码片段： variables = ['first', 'second', 'third']
task = dag_task(variable) run_dag_task(variable) 这段代码将并行运行这三个变量的三个任务<
浏览 6提问于2021-11-17得票数 1
1回答
我们使用气流已经有一段时间了，真是太棒了。假设我每秒钟运行一个脚本。用气流来安排它的最佳做法是什么：
在每秒调度的DAG中运行此脚本。我非常怀疑这将是解决方案，对于达格兰来说，这是相当大的开销。运行这个脚本在一个时间循环，在6个小时后停止，然后安排它在气流上
浏览 0提问于2018-04-04得票数 5
我在一台服务器上运行气流。在我的DAG和任务中，有些情况下我需要触发DAG，这些DAG是在另一台服务器上不同的气流安装中维护的。是否存在类似于运算符(如AirflowOperator )的DatabricksRunNowOperator？我已经查过了。我什么都没找到。
浏览 4提问于2022-03-04得票数 0
回答已采纳
此外，请帮助我的达格安装脚本。我和书一起读了这么多答案。图书链接是
我从这本书中了解到，调度程序经常从dags主文件夹中获取更改。(是对的</
浏览 0提问于2020-08-23得票数 3
回答已采纳
是否有方法指定任务只能同时运行一次？因此，在上面的树中，DAG并发是4，气流将启动任务4而不是任务2的第二个实例？
这个DAG有点特别，因为任务之间没有顺序。这些任务是独立的，但在目的上是相关的，因此保留在一个DAG中，以便新创建过多的单个任务DAG</em
浏览 0提问于2019-06-03得票数 2
回答已采纳
1回答
我有一个DAG，它是通过查询DynamoDB中的一个列表和列表中的每个项来创建的，这个任务是使用一个PythonOperator创建的，并将它添加到DAG中。在下面的示例中没有显示，但是需要注意的是，列表中的某些项依赖于其他任务，因此我使用set_upstream来强制执行依赖项。op_args=[task]问题是
浏览 3提问于2017-07-15得票数 2
回答已采纳
我有大约一百万的气流任务，使用相同的python功能。每个运行都需要有不同的开始日期和参数。问题
如何在气流上以可伸缩的方式运行一百万(或任何数量)或任务，
浏览 0提问于2019-03-25得票数 1
回答已采纳
假设我有两个预先存在的DAG，A和B。在气流中是否可以将所有任务从B“复制”到A中，保留依赖关系并传播所有B任务的默认参数等等？最终目标是拥有一个新的DAG A‘，它包含A和B的所有任务。我理解，协调DAG级别的因素(例如日程安排)和跨复制传播可能是不可能的，但是否有可能至少保留任务的依赖顺序
浏览 0提问于2019-08-15得票数 0
全,
我们有几个带有DAG信息的JSON文件。我创建了一个python脚本来读取那些JSON文件，以便为Composer气流动态生成DAG。现在，我面临的挑战是如何在python脚本中获得运行DAG的列表，并从本地系统触发单个DAG。在我的本地，我设置了私有SSH键，所以我可以使用下面的命令获得在composer气流中运行<em
浏览 2提问于2019-12-18得票数 0
回答已采纳
1回答
我正在尝试创建动态DAG，然后将它们发送到调度程序。我尝试了的引用，它运行得很好。我对它做了一些修改，如下代码所示。在调试问题时需要帮助。from datetime import datetime, timedeltaimport json
浏览 1提问于2019-08-12得票数 0
回答已采纳
我在我的IDE中寻找运行/调试任务和dags的最佳方法。我看到有两种方法可以这样做。我可以在调试模式下运行airflow test命令，用于特定的进程和可选的任务。其他方法是使用DebugExecutor并运行特定的dag。我看到这两种方法都要求气流数据库已经启动并运行，并且所有池都配置好了(可能还需要队列)。我的问题
浏览 5提问于2020-11-29得票数 5
回答已采纳
1回答
我们有许多DAG计划每天使用气流运行。依赖项已使用ExternalTaskSensor、TriggerDagRunOperator和自定义运算符启用。示例：DAG A中的任务3依赖于DAG C中的任务4
<e
浏览 0提问于2017-06-16得票数 0
我正在学习Apache气流，并尝试编写hello world版本的它。我已经用python版本3.8和下面的包含dag和任务的代码安装了airflow版本2.0import logging
我已经按照以下方式配置了apache<
浏览 7提问于2021-02-07得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
