1回答
我有一个场景，我必须根据调度标准来调度一个具有不同参数的气流DAG。For instance, I've to:
Schedule DAG every Friday with the variable "source" as
浏览 20提问于2021-08-30得票数 1
回答已采纳
合并gitlab代码后，触发了airflow dag，如何获取合并后的gitlab的commit_id和分支信息
浏览 16提问于2021-08-10得票数 0
1回答
我的组织已经使用了一个仅在手动触发器上运行的DAG很长时间了。与之交互的任何外部资源都由执行日期{{ ds_nodash }参数化。最近，我们将这个dag转换为每周运行一次，我发现气流调度程序“在计划周期结束时而不是在开始时触发DAG运行”。我根本没想到会这样。我不是在讨论气流调度器的设计，而是想找一些关于如何编写手动触发和预定间隔的DAG<em
浏览 3提问于2020-04-06得票数 2
回答已采纳
2回答
我对气流完全陌生，并试图掌握调度和默认args的概念。
我有一个场景，我想安排我的DAG 时程在源和数据库之间执行一些数据传输任务。我想要理解的是，假设我的一个DAG运行程序是在早上00:00触发的。现在，如果此运行需要一个多小时才能成功完成其所有任务(例如，1小时30分钟)，是否意味着下一次应该在凌晨01:00触发的DAG运行将不会被触发，但从02:00开始的DAG运行将被触发？
浏览 11提问于2022-02-09得票数 0
我有一个DAG，我传递了各种配置，我想传递的设置之一是它应该多久运行一次。据我所见，没有办法在配置中轻松地通过调度。我唯一的解决方案是用完全相同的代码制作多个DAG，但时间表<
浏览 5提问于2022-05-29得票数 4
在构建气流大会时，我通常会指定一个定期运行的简单时间表--我希望这是最常用的。dag = DAG('my_dag', schedule_interval='0 12 * * *',start_date=datetime(2017, 10, 1),然后，我需要在实际的过程中使用</em
浏览 4提问于2017-11-02得票数 5
回答已采纳
我正在使用Local Executor。我有一种情况，我为每个请求id生成了唯一的dags，例如1.py，2.py。我附上了我的dag定义。我想在创建dag后立即运
浏览 1提问于2018-05-08得票数 2
1回答
我已经创建了一个具有3个任务的DAG。其中一个任务失败，因此在airflow UI中，该作业显示为失败。但是当我回填之前的任务时。它们现在成功了，但是作业的状态仍然保持不变，即使单个任务已经成功，它仍然显示失败。我是不是漏掉了什么？
浏览 1提问于2016-06-29得票数 0
我试图控制一个任务在哪个气流工作者上执行，但是DAG定义中的队列参数没有被调度程序捕获。(dag, 'xdata_run_etl'), dag = dag,但是，当我触发DAG时，<
浏览 2提问于2020-04-03得票数 1
我有一个由三个任务组成的Airflow工作流；第二个任务依赖于第一个任务，第三个任务依赖于第二个任务。from airflow import DAG
from airflow.operators.bash_operator import Bash
浏览 59提问于2018-06-05得票数 0
回答已采纳
请告诉我，airflow中的DAG是没有任何实际数据(如参数)的图形(如占位符)，还是类似于实例(用于固定参数)的DAG？ 我想要一个系统，其中要执行的操作集(给定一组参数)是固定的。但每次运行这组操作时，此输入都会不同。简单地说，管道是相同的，但管道的参数在每次运行时都是不同的。 我想知道如何</em
浏览 81提问于2019-10-08得票数 1
1回答
我的DAG通常由下载文件、解压缩文件、上传到hadoop等任务组成，因此它们相互依赖，必须在单个机器/节点上运行。当气流在不同的节点上调度单个DAG、的这些任务时，我会出现错误，因为这些任务被调度在不同的机器上，但是我需要将DAG中的所有任务都调度在一台机器上。我尝试在dag_concurrency =1和max_active_runs
浏览 1提问于2021-05-17得票数 1
回答已采纳
我已经创建了一个dag，该dag在Airflow UI中可用，并将其打开以运行它。运行dag后，状态显示为可重试。在那之后，我去了服务器，使用了命令"Airflow scheduler“，然后dag就成功了。
在运行dag之前，调度程序已经启动并运行，我不确定为什么会发生这种情况。当我们创建一个新的dag时，我们需要运行气流调度器吗？想知道调度器是如何工作的</e
浏览 0提问于2020-05-20得票数 1
问题:我的DAG的开始日期没有被正确设置，有人能告诉我为什么吗？with DAG("ufc-main-dag", default_args=default_args) as dag: )
# lambda pul
浏览 14提问于2022-09-06得票数 0
回答已采纳
1回答
我有一个专用的调度程序吊舱，一个专用的web服务器吊舱，我使用的是Kubernetes执行器。
是否有一种配置(或任何其他方式)禁用迷你调度</em
浏览 9提问于2022-01-16得票数 1
回答已采纳
2回答
在Hadoop生态系统中，我一直在不同的上下文中获得DAG这个术语，比如
DAG模型是MapReduce模型的严格推广它是如何在Hadoop或Spark中实现的？
浏览 3提问于2017-06-22得票数 3
我有一个报告应用程序，它使用芹菜每天处理数千个作业。每种报告类型都有一个python模块，用于封装所有作业步骤。作业采用特定于客户的参数，通常在几分钟内完成。我也喜欢将我的工作表达为DAG并从任务重试中获益的想法。我可以看到如何使用Airflow来运行调度的批处理作业，但我不确定我的用例。如果我将我的作业表示为Airflow DAG，我仍然需要为每个客户运行它们<
浏览 0提问于2020-10-28得票数 0
我遇到了几种完全不同的方法来调度库伯内特斯舱上的气流任务，我还没有弄清楚其中的区别是什么，以及我什么时候应该选择一种风格而不是另一种风格。对于上下文，我的本地气流测试实例被配置为使用KubernetesExecutor，并且我正在本地Kubernetes集群上调度这些任务。第一种风格(坦白地说，我没想到它会起作用--它用作基本图像的是什么？)": {"image": "ubuntu:1604&q
浏览 0提问于2019-09-06得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
