假设我启动了一个AWS EC2/EMR实例来做一些工作，我想要关闭它，以避免它处于静止状态。有没有办法仍然触发dag的shut down instance部分？
浏览 4提问于2018-08-02得票数 1
回答已采纳
airflow list_dags然后转到webserver，刷新UI中的dag，将DAG状态切换到" on "，单击DAG尝试查看图形视图。由于dag似乎能够在手动运行airflow list_dags时构建，而不是在when服务器中构建，我认为也许我需要更改一个webserver超时吐露，例
浏览 5提问于2020-01-16得票数 0
回答已采纳
5回答
我正在尝试使用airflow来定义我想要从命令行手动触发的特定工作流。 "DAG_NAME", schedule_interval=None,default_args=args)airflow trigger_<em
浏览 2提问于2016-05-05得票数 24
1回答
我已经创建了一个DAG，当我通过UI触发它时，它将被成功地执行。但是，当我使用命令行触发DAG时，DAG状态将开始运行，但任务将永远不会执行。对于下面图像的引用，DAG的ID是xcom_4_modules_ver_5
在通过调度的进程运行DAG并通过UI手动触发之后，我在CLI上执行airflow list_dag_runs xcom_4_mod
浏览 1提问于2019-04-15得票数 8
我使用Apache气流，我希望它发送邮件通知sla错过。我将电子邮件嵌入存储为气流变量，我有一个进程，它的任务之一是使用EmailOperator发送电子邮件。现在出现了这个问题，因为无论如何，当我的发送邮件任务运行到所有收件人时，它都只向列表中的第一个入口发送sla错过通知，在我的示例中，这意味着test1@test.com。下面是我的dag和airlfow变量：
from airf
浏览 2提问于2018-09-05得票数 1
回答已采纳
12回答
DAG在Web中不可见
、、、
我是Airflow的新手。我遵循一个教程，并编写了下面的代码。from airflow import DAGfrom datetime import', python_callable=correctness_prediction,在运行</e
浏览 14提问于2016-08-17得票数 34
回答已采纳
我有一个演示DAG，其源代码附在下面。这个守护进程非常简单: dummy_success >> one_failed >> none_failed正如
浏览 5提问于2019-10-25得票数 1
1回答
我正在尝试在一个Ubuntu EC2实例中使用docker-compose来设置airflow实例。在气流初始化之后，该过程不再前进。我正在努力修复它。我使用下面的docker组合文件：https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml。当我尝试在我的windows桌面上运
浏览 47提问于2021-08-09得票数 0
1回答
我有一个气流集群由3个工人节点与CeleryExecutor和RabbitMQ进行通信。我的DAG通常由下载文件、解压缩文件、上传到hadoop等任务组成，因此它们相互依赖，必须在单个机器/节点上运行。当气流在不同的节点上调度单个DAG、的这些任务时，我会出现错误，因为这些任务被调度在不同的机器上，但是我需要将DAG中的所有任务都调度在一台机器上。我尝试在dag_conc
浏览 1提问于2021-05-17得票数 1
回答已采纳
我对DAGs、气流和Python语法有点陌生(我从Java中学到编码)，但我有一个DAG，它有大约10个相互独立的任务，而另一个DAG只有在所有10个任务都成功的情况下才能运行。因为按照我的方式，如果一个任务失败，DAG仍然运行其他任务，DAG被标记为成功。(这就是我想要的)
是否有一种方法可以使新任务(任务11)通过其他任务并检查它们的状态？if array_o
浏览 0提问于2020-08-20得票数 2
3回答
使用python 2.7运行Airflow 1.9.0。如何优雅地停止DAG？在这种情况下，我有一个DAG，它使用错误的代码运行文件上传，导致所有事情花费4倍的时间，我真的不希望等到它最终超时的一天(超时设置为10小时)。我找不到任何方法来阻止DAG。我试着点击"DAG Runs
浏览 1提问于2018-03-01得票数 7
在气流中，我应该如何处理错误“此DAG在webserver DagBag对象中不可用，它显示在此列表中，因为调度程序将其标记为元数据数据库中的活动”？我将一个新的DAG复制到一个气流服务器上，并尝试：
停止webserver和调度器，重置数据库运行airflow</
浏览 7提问于2017-04-28得票数 19
1回答
我有两个DAG，它们在Airflow上有不同的时间表，DAG1每小时在Redshift上创建一个表，DAG2是一个每天运行的进程，需要读取DAG1创建的表。我正面临着一个问题，如果DAG2花费的时间比平时长，那么DAG1就会开始运行，导致我在Redshift上出现并发连接问题。是否</
浏览 5提问于2020-03-25得票数 0
下面是1.17.8-airflow-2.1.4在2022年3月24日的上一次任务不完整日志中失败的数据。
请让我们知道composer 1行为在2022年3月24日为何不同的确切原因，因为所有其他日子，在凌晨1:00计划运行的相同代码和依赖文件的同一个</e
浏览 7提问于2022-03-28得票数 0
回答已采纳
2回答
调度程序似乎没有运行。最后一次心跳是在45分钟前。
airflow-scheduler.err文件是空的，.out和.log文件看起来是无害的(需要更多的时间深入研究)。在终端中运行调度程序以查看提要的活动，一切似乎都正常运
浏览 6提问于2019-11-28得票数 4
回答已采纳
2回答
但是，有一件事我有点不清楚，那就是如何正确地为我的守护进程提供参数，我想在其中运行相同的进程，但是并行地运行多个业务(lob)。因此，基本上，我希望在每次运行中运行多个lob的下面的dag，并让每个lob运行在parralel中。
因此，假设我定义了一个变量，它是一个lobs数组，如"lob1“、"lob2”等等。我在想，也许我可以将lobs作
浏览 3提问于2017-03-21得票数 7
回答已采纳
我需要在AWS EMR中运行结构化流spark作业。作为弹性需求，如果spark作业由于某些原因而失败，我们希望spark作业可以在EMR中重新创建。类似于ECS中的任务编排，如果健康检查失败，可以重启任务。然而，EMR更多是一个计算引擎，而不是编排系统。 我正在寻找一些大数据工作流程编排工具，例如Airflow。但是，它不能支持DAG中的循环。
浏览 44提问于2020-07-13得票数 1
回答已采纳
2回答
我正试图有一个大师达格，这将创造更多的达格根据我的需要。在dags_folder中的airflow.cfg中有下面的python文件。此代码在数据库中创建主守护进程。这个主进程应该读取一个文本文件，并为文本文件中的每一行创建dags。但是在主守护进程中创建的dag没有添加到数据库中。创建它的正确方法是什么？版本详细信息：
Pyt
浏览 6提问于2020-03-24得票数 2
回答已采纳
合并gitlab代码后，触发了airflow dag，如何获取合并后的gitlab的commit_id和分支信息
浏览 16提问于2021-08-10得票数 0
在airflow中，有没有一种方法可以将depends_on_past用于整个DagRun，而不仅仅是应用于任务？我每天都有一个DAG，周五的DagRun在第四个任务上出错了，但是周六和周日的DagRuns仍然按计划运行。使用depends_on_past = True会在相同的第4个任务上暂停DagRun，但是前3个任务仍然会运行。我可以在DagRun DB表中看到一个state列，其中包含星期五
浏览 2提问于2017-11-28得票数 13
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
