我有一个通过airflow API在DAG AIRFLOW中调用python脚本的用例。这个python脚本将通过JSON接收参数。我可以在shell上运行python，它会返回预期的结果。curl -X POST -H "Cache-Control: no-cache" -H "Content-Type: application/json" http://loca
浏览 72提问于2020-07-18得票数 0
回答已采纳
8回答
我有一个进程，我们将部署到多个不同的气流实例，在我们的airflow.cfg中，我们有dags_are_paused_at_creation = True，但是对于这个特定的进程，我们希望通过单击UI来打开它
浏览 8提问于2017-06-05得票数 16
回答已采纳
4回答
基本上，我已经为任务准备好了脚本和dag，但该任务不会定期运行。相反，它需要在随机时间激活。(外部方会告诉我们是时候了，我们将运行它。在接下来的几个月里，这种情况可能会发生很多次。)有没有手动触发dag的方法？也欢迎任何其他方向/建议。谢谢。
浏览 3提问于2019-12-13得票数 6
其目的是通过rest api调用从UI中删除airflow dag。我尝试了调用.../delete?dag_id=<dag_id>，这个rest调用失败了，报告缺少CSRF令牌。如何从airflow服务器获取CSRF令牌？或者有没有更好的方法从airflow UI中自动删除dag？(不是从airf
浏览 3提问于2020-06-11得票数 0
Airflow允许通过命令行或实验性rest api将参数传递给dags。例如：运算符的常用单元测试示例如下所示： dag</e
浏览 3提问于2018-08-25得票数 1
回答已采纳
我想将参数传递到气流DAG中，并在python函数中使用它们。我可以将参数使用到bash操作符中，但是我找不到任何引用来将它们用作python函数。from airflow import DAG
from airflow.operators.bash_operator import BashOperator from airflow.operators.python_operatorimport P
浏览 1提问于2021-06-03得票数 0
回答已采纳
当在airflow中触发dag时，有一个窗口，我可以通过它以json格式将dag参数设置为参数。如下所示：
这个json总是空的，我必须知道哪些参数可以传递给dag。相反，我希望能够预先填充这个json，这样当另一个用户尝试触发dag时，他可以简单地更改为json的值，而不必首先查看dag代码。在当前版本(2.0.0)的airflow中有什么方法</
浏览 4提问于2021-01-21得票数 2
看起来Airflow有一个实验性的REST api，允许用户创建带有https POST请求的dag run。这太棒了。
有没有一种方法可以通过HTTP将参数传递给create dag运行？
浏览 3提问于2018-05-02得票数 13
回答已采纳
我使用Airflow来管理ETL任务的执行和调度。已经创建了一个DAG，它工作正常。但是当通过cli手动触发dag时传递参数是可能的吗。例如:我的DAG每天下午1点半运行，处理昨天的数据(时间范围从昨天下午1点半到今天1点半)。数据源可能存在一些问题。我需要重新处理这些数据(手动指定时间范围)。因此，我是否可以创建这样一个气流DAG，当它被安排时，默认时间范围是从昨天的01:30到今天的01:30。然后，如果数据源有任何问题，我需要手动触发DA
浏览 0提问于2018-12-07得票数 37
回答已采纳
我正在寻找一种方法，将允许由给定的EmailOperator任务发送的电子邮件的内容被动态设置。理想情况下，我希望使电子邮件内容依赖于xcom调用的结果，最好是通过html_content参数。alert = EmailOperator( to='please@dontreply.com', html_content=&#
浏览 0提问于2016-01-19得票数 17
1回答
我有一个在成功和失败事件中执行动作和发送通知电子邮件的airflow作业，下面是我使用的代码。#from builtins import rangefrom airflow.models import DAGfrom airflow.utils.dates import days_ago
from air
浏览 2提问于2020-10-24得票数 1
在使用Apache Airflow的TaskFlow API定义DAG时，有什么方法可以使用airflow.utils.edgemodifier.Label吗？在格式中，您可以引入在UI图形视图中可见的标签。有没有办法做到这一点？
浏览 5提问于2021-06-30得票数 0
1回答
self.assertTrue(True) trigger_dag的内部结构包括： from typing import Listimport time
from airflow.api.client.local_client看起来问题在于，当将dag_run运行记录到DAG元数据表中时，execution_date列时间戳以秒(datetime.datetime(2020, 8, 30, 0, 30, 13),)而不是微秒级的精度保存对于给定的D
浏览 7提问于2020-08-30得票数 1
5回答
气流失效松弛信息
、、
如何配置气流，使DAG中的任何故障(立即)导致消息松弛？此时，我通过创建一个slack_failed_task来管理它： task_id='slack_failed", icon_url = 'http://airbnb.io/img/projects
浏览 5提问于2017-06-16得票数 5
回答已采纳
1回答
我想知道如何将参数传递给通过airflow运行的配置单元查询脚本。如果我只想为这个脚本添加一个参数，比如target_db = mydatabase，我该怎么做呢？我是否需要将它添加到default_args中，然后在脚本的op_kwargs中调用它？default_args = { 'depends_on_past':
浏览 3提问于2018-01-04得票数 1
回答已采纳
编辑：--这是可行的，我定义了ex_func_airflow(var_1 = i)，它导致了问题 task_id = name, op_args = [i], dag=dag)当在气流<
浏览 5提问于2019-02-13得票数 3
回答已采纳
.When I无法找到unique_id的特性的同时，搜索了大多数解决方案，最终在宏和模板.But中完成，没有一个没有为任务提供uniqueID，我可以在UI中为每个任务.Is看到增量uniqueID，有任何方法可以轻松地访问这些变量。在我的python .The主要用例中，我需要将这些ID作为参数传递出去，作为脚本/方法调用的Python/Pentaho作业。目前，我们正在从一个集中式数据库中生成这个独特的run
浏览 6提问于2017-09-15得票数 5
回答已采纳
我们使用Airflow作为调度器。我想在DAG中调用一个简单的bash操作符。bash脚本需要一个密码作为参数才能进行进一步的处理。如何在Airflow (config/variables/connection)中安全地存储密码并在dag定义文件中访问它？
我是Airflow和Python的新手，所以一个代码片段将不胜感激。
浏览 5提问于2017-07-24得票数 33
我有从bash操作符调用python笔记本执行的代码。该代码过去在旧的composer和airflow版本中运行时没有任何问题。我已经将环境更新为包括python到3以及最新的composer和airflow版本。notebook的环境变量中的参数不再像以前那样可用。#executing ipynb in the DAGVariable.set("BUCKET_URL&
浏览 6提问于2020-05-21得票数 0
import DAGfrom airflow.utils.dates import, 'retry_delay': timedelta(minutes=1),
dag = DAG(
'airflow_dag_tutorial-new=
浏览 42提问于2020-11-08得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
