一切似乎工作正常，但在回填一些DAG运行后，Airflow崩溃并出现以下错误： [2019-06-06 12:13:25,378] {jobs.py:2521} INFO - Task exited with我应该在后台启动这个回填吗？(气流1.9)
浏览 15提问于2019-06-07得票数 0
1回答
气流网服务器气流调度器继续运行DAG
我有一个新的气流装置。所有暂停的例子都很好。一个新的示例DAG即使在web上暂停也会继续运行。暂停/取消暂停对于默认示例来说很好。它为什么要继续运行DAG？
浏览 0提问于2018-03-17得票数 7
同时，当我还在创建DAG来调度气流中的任务时。数据每天都在到达。因此，当我从今天开始运行我的DAG时，我想每天安排它，还想回填我在创建DAG时错过的过去几天的所有数据。我知道，如果我把start_date作为数据开始到达的日期，从那个日期开始回填，但那样的话，我的day将永远落后于今天吗？如何同时实现回填和调度？是否需要为回填和调度创建单独的DAG/任务？
浏览 0提问于2019-08-11得票数 2
1回答
停止气流回填运行
、、
DAG每分钟都在运行。但是，当气流下降一段时间左右时，我们会看到大量回填作业正在运行，这会停止最近的DAG运行。正如您所看到的，我在airflow.cfg中也使用了catchup=False和catchup_by_default=False，但仍然会出现回填任务
浏览 14提问于2021-06-12得票数 0
5回答
我有一个计划每天运行的气流DAG。当我开始上个月的回填时，Airflow将开始处理从最旧到最新的运行。由于单次运行需要几个小时，这意味着当新的运行可用时(在回填过程中已经过去了一天)，新的运行将仅在整个回填完成后处理(导致公司无法获得最新数据)。是否可以指示气流从最新到最旧的流程运行？
浏览 3提问于2018-07-18得票数 7
2回答
我试图使用gcloud composer命令在Google中进行回填，但我很难传递相应的--reset_dagruns参数的-y或--yes。
浏览 1提问于2020-06-10得票数 3
回答已采纳
假设调度程序停止了5个小时，而我将dag安排在每小时两次。现在，当我重新启动调度程序时，我不想让气流回填所有丢失的实例，而是希望它从当前小时继续。
浏览 2提问于2016-03-19得票数 2
1回答
有什么办法，我可以运行回填顺序，而不做多任务？例如，如果我运行回填的几个日期，如气流回填达-s "2017-07-01“”-e "2017-07-10"，有什么办法完成每一个测试前跑到第二天？
浏览 4提问于2017-07-25得票数 7
回答已采纳
我正在尝试运行运行历史时间线之外的过去的特定日期。 dag=dag,预期:6月29日运行的特定日期，以及运行的历史记录。
浏览 0提问于2019-07-09得票数 0
1回答
当我使用Config单击触发器dag时，我将日历更改为我想要的日期，但当我单击run时，我看到了运行，但它没有运行。
浏览 9提问于2022-11-21得票数 0
我正在通过气流CLI执行回填作业，回填进程运行在一个运行状态中，第一个任务处于队列(灰色)状态。注意事项：我正在通过K8S集群上的气流工作者荚执行回填cli命令。
是否还有其他人遇到过类似的问题使用回填cli命令？更新:我意识到我的回填运行超出了整个进程间隔。也就是说，在导致阻塞调度依赖的dag start_dat
浏览 14提问于2020-08-21得票数 3
回答已采纳
1回答
我意外地安排了一个简单的DAG作业，每5分钟运行一次。我输入了以下命令：我可以看到气流网服务器GUI，它启动了许多回填作业。我试图将正在运行的作业标记为“成功”，但它返回错误。
我想每天跑步，而不是每5分钟跑一次。我怎么才能停止错误的工作？
浏览 0提问于2017-05-28得票数 3
回答已采纳
我正在尝试理解气流中的追赶和回填。我知道什么是catchup，但我还没有完全理解backfill到底是什么，以及它是如何使用的。
我已经阅读了文档，但是找不到好的例子来理解回填。
浏览 14提问于2019-07-30得票数 3
回答已采纳
我正试图回填一个要求日期调整到上个月的第一天的工作。datetime, timedelta, date
但我不确定回填气流是否会返回date.today()作为运行的一天。
浏览 1提问于2018-07-26得票数 0
1回答
我有一个DAG，从2015年1月1日到今天，每天都有"DAG运行“。DAG中的任务不是“过去依赖的”，这意味着在回填期间，它们可以按任何日期顺序执行。如果我需要在DAG中回填一个任务，我使用UI清除所有任务实例(从今天到过去)，然后所有DAG运行切换到"running“状态，任务从2015年1月1日到今天开始回填。任务很耗时，所以即使由多个线程/工作线程并行执行，回填也只能在几天内完成。
问题是，新的"DAG运行“明天，后天，等等
浏览 1提问于2018-07-31得票数 8
回答已采纳
我希望用-m回填的行为或多或少是瞬间运行的，因为没有完成任何工作。然而，我遇到了调度程序在每个任务上花费大约30秒的情况，这似乎过多了。我正在local_executor模式下运行一个小的airflow实例，使用Postgresql作为DB。 这是否反映了您在气流回填方面的经验？您是否了解性能陷阱或提高速度的技巧？
浏览 14提问于2020-06-25得票数 3
1回答
我似乎搞不懂为什么四月气流停止了。现在是5月25日，所以5月8日的达格跑不应该和其他几个月一起回填吗？为了明确起见，我今天刚刚部署了这个守护进程，所以所有已执行的dag运行(包括缺少的5月8日)都是回填的。
浏览 2提问于2021-05-26得票数 1
回答已采纳
1回答
添加4项任务后：
使用cli命令:回填dag_id -s 2019-07-01 -e 2019-07-07 -t taskA
只有任务A被回填。没有像‘-下游’这样的争论。我可以用1命令回填任务A及其下游任务吗？
浏览 0提问于2019-08-12得票数 0
3回答
我刚刚开始使用Airbnb的，我还不清楚回填是如何/什么时候完成的。具体来说，有两个用例让我感到困惑：
如果我运行airflow scheduler几分钟，停止它一分钟，然后再次重新启动它，我的DAG似乎在前30秒左右运行额外的任务，然后继续正常运行(每10秒运行一次这些额外的任务是不是“回填”的任务在以前的运行中无法完成？如果是这样的话，我如何告诉气流不回填这些任务？这些任务是否也以某种方式“
浏览 6提问于2016-10-05得票数 46
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号