2回答
气流调度器意外关闭
、、、、
我有一个反复出现的问题，由airflow scheduler -D引发的调度程序对我关闭了。当我检查airflow-scheduler.err时，没有错误。为了进行调试，我进入/airflow目录，使用rm airflow-scheduler*清除所有与调度程序相关的文件，然后重新启动守护进程。我正在使用LocalExecutor。(2)如果没有快速解决方案，是否至少有一种方法让airflow在调度程序失败时给我发一封电子邮件？
浏览 14提问于2018-01-09得票数 2
回答已采纳
我目前正在使用气流1.8.2来调度一些EMR任务，然后在Redshift集群上执行一些长期运行的查询。为此，我正在使用postgres_operator。查询大约需要30分钟才能运行。然而，一旦它们完成，连接永远不会关闭，操作员运行一个半小时，直到每次在2小时点结束为止。终止时的消息是服务器意外地关闭了连接。
我在Redshift的末尾检查了日志，它显示查询已经运行，连接已经关闭。不知怎么的，那是从来没有沟通回气流。任何关于我还能查到什么的指示都会有帮
浏览 3提问于2017-09-25得票数 2
回答已采纳
1回答
我对气流很陌生，尝试通过启动气流网络服务器和调度程序来运行一个dag。当我关闭调度程序和气流网络服务器后，气流进程仍在运行。ps aux | grep airflow显示了两个气流and服务器运行，以及调度程序运行的所有dags。
浏览 4提问于2021-01-10得票数 5
回答已采纳
我正在经历调度程序突然下降，没有一个模式。我们设置了AIRFLOW__SCHEDULER__RUN_DURATION = 3600，强制调度程序每小时重新启动一次，这样调度程序就会突然关闭。这里的问题不是气流调度器关闭了，但是强制重启的ENV变量没有工作。
可以避免气流调度程序重新启动吗？我们应该使用airflow.cfg而不是env var
浏览 2提问于2021-09-12得票数 0
回答已采纳
我使用的是Azure VM上的气流。我希望我的DAG每天午夜运行，但我不能总是连接到VM在这个时候运行“气流调度器”命令。我希望我的DAG能够在没有我干预的情况下在午夜运行VM。我尝试使用Azure VM管理器中的"run命令“，但运行时间限制在90分钟。我也尝试过探索airflow.cfg文件，但是没有找到任何东西。DAG_ID, schedule_interval=timedelta(days=1)
浏览 0提问于2019-08-21得票数 0
回答已采纳
我的气流调度器由于某种原因而下降，当我重新启动它时，所有的DAGS都同时触发了。就好像它正在从失去的工作中迎头赶上。而且，当我修改DAG时，工作流触发。这些意外触发破坏了我的数据并失去了对系统的信任。
是否有一种方法可以防止DAG意外运行，除非它是确切的时间(没有追赶)，或者除非它是手动触发的？
浏览 9提问于2022-09-12得票数 0
回答已采纳
2回答
我对阿帕奇气流很陌生。我在Google上安装了气流。我有两个管道正在运行，从API获取数据并将它们存储到BigQuery。我面临的问题是气流调度器不是自动运行的。我必须手动运行它每天使用“气流调度器”命令。第二天，当我打开气流时，我看到消息“调度器似乎没有运行”。然后，我必须再次手动运行te命令来启动调度程序。我正在使用SequentialExecuter。
浏览 2提问于2021-09-28得票数 0
回答已采纳
1回答
我对气流很陌生，真的很感激对以下问题的任何帮助。我试着在笔记本电脑上运行气流网络服务器。在理论上，我设置了start_time=datetime.now()，当我在set服务器上手动运行这个进程时，应该成功地运行它，但是它改变了超时，它要么排队，要么成功。webUI中的图形条时，它都会显示为以下图片：我不确定是否与我初始化气流的方式有关，我遵循以下步骤：
这两个步骤成功了，但是第三个步骤--气流
浏览 8提问于2022-10-31得票数 0
3回答
如何在高可用性中部署apache气流(正式称为airbnb的气流)调度器？
--我不是问后端DB或RabbitMQ，它们显然应该部署在高可用性配置中。我的主要关注点是调度程序-有什么特别的事情需要做吗？
浏览 5提问于2016-09-19得票数 11
2回答
工作流调度器或工作流调度程序有一个公共部分，可以帮助用户构建DAG、调度和跟踪实验、作业和运行。而且气流支持不同的语言API，并且有很大的社区，我们可以用气流来构建我们的ML工作流吗？
浏览 2提问于2019-11-26得票数 12
回答已采纳
1回答
我试图诊断一个表现不佳的气流管道，我想知道在气流调度器中，我应该期望什么样的性能，类似于“每秒调度的任务”。我几乎没有排队的任务，我的许多任务在几秒钟内就完成了，所以我怀疑调度器是有限的组件，这是我的错，因为我有很多快速的任务。不过，如果可以避免的话，我宁愿不重写我的DAG。我能做些什么来提高调度程序排队任务的速度？
浏览 0提问于2018-02-01得票数 5
我用本教程在本地Mac气流上安装了docker：，一切都很好。我有用户界面，我可以连接我的伙伴。我在网络UI上的任务：
。
浏览 0提问于2019-07-03得票数 0
回答已采纳
在气流中，我应该如何处理错误“此DAG在webserver DagBag对象中不可用，它显示在此列表中，因为调度程序将其标记为元数据数据库中的活动”？我将一个新的DAG复制到一个气流服务器上，并尝试：
停止webserver和调度器，重置数据库(airflow resetdb)，然后再次启动webserver和调度程序。编辑:
浏览 7提问于2017-04-28得票数 19
1回答
假设即使没有安装气流，taxi_pipeline_simple.py也会运行，这是正确的吗？我认为没有，因为它使用"AirflowDAGRunner“。如果没有，那么你能运行TFX只有梁和它的转轮吗？我假定这是使用AirFlow作为一个编排器，而后者又使用Flink作为其执行器。对，是这样?该页指出，波束是一个必要的依赖，但气流没有梁作为其执行者之一。因此，在不使用气流的情况下，是否只需要束流？当使用气流时，梁的用途是什么，如果需要的话？
谢谢你的
浏览 0提问于2019-05-17得票数 6
回答已采纳
在这个路径中= 'usr/local/airflow/dags/app_store_reviews/app_store_reviews/spiders'
但是我从气流中得到了这样的错误：Broken DAG
浏览 0提问于2020-09-29得票数 0
我正在开发一个基于容器的Apache气流应用程序。我的环境由以下组件组成：
等。我对这个模式的理解是，我可以拥有一个调度器和一个webserver容器，这些容器只需要一个气流所必需的依赖项，然后我就可以有一个工作节点(或多个)来运行我的DAG所需的一切。这对我来说很有意义，因为调度程序知道我将需
浏览 1提问于2021-04-29得票数 3
4回答
移除气流排程日志
、、、、
我正在使用Docker气流版本1.9.0-2 ().调度程序生成大量日志，文件系统将很快耗尽空间，因此我试图以编程方式删除由空气流创建的调度程序日志，该日志位于(/usr/local/ airflow /log/调度器)中的调度器容器中。我已经设置了所有这些维护任务：
但是，这些任务只删除工作人员的日志，并且调度程序日志位于调度器容器中。我还设置了远
浏览 7提问于2018-04-11得票数 19
2回答
我在码头集装箱里运行气流。我创建了一个单独的容器来运行Postgres服务器和Rabbitmq服务器，通过遵循这个漂亮的连接这些容器。现在，我的气流码头集装箱正在运行，并连接到其他集装箱使用码头网络-过程到目前为止顺利。创建单独的容器来运行芹菜工人和气流调度器--但是在airflow.cfg文件中，与芹菜相关的设置是：broker_url = 'amqp://guest:guest@ksaprice_rabbitmq:这些设置指的是已经在运
浏览 0提问于2017-08-02得票数 3
回答已采纳
2回答
我需要一些建议，如何重新启动所有的气流服务部署，而不杀死在任务中的工人。
更新“当前”simlink以指向我的新版本。启动气流-花、气流-工作者、气流调度器和
浏览 3提问于2016-11-22得票数 6
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号