2回答
AFAIK，DAG中的'params‘参数是在python代码中定义的，因此不能在运行时更改。
浏览 6提问于2017-11-21得票数 18
回答已采纳
1回答
我需要dag_run_start_date作为时间戳，但由于某些原因，每个任务的时间戳都不同。有人有解决这个问题的办法吗？ 我还想知道是否可以只打印出启动此dag或启动第一个任务的时间。dag = DAG( start_date=datetime(2021, 11, 1),) buc
浏览 25提问于2021-11-14得票数 0
文件的，下面是代码import csvimport pandas as pdfrom airflow.operators.python_operator(data): return(" storingdone")
浏览 14提问于2022-04-28得票数 0
回答已采纳
我们还为每个模型保留了一个JSON文件，该文件定义了每个SQL文件之间的依赖关系。
我做了一些研究，
浏览 7提问于2022-11-14得票数 0
回答已采纳
4回答
基本上，我已经为任务准备好了脚本和dag，但该任务不会定期运行。相反，它需要在随机时间激活。(外部方会告诉我们是时候了，我们将运行它。在接下来的几个月里，这种情况可能会发生很多次。)有没有手动触发dag的方法？也欢迎任何其他方向/建议。谢谢。
浏览 3提问于2019-12-13得票数 6
我需要根据JSON负载来调度任务。简单地说，JSON有效负载包含日期和时间以及调度任务所需的数据。我可以使用Apache气流来满足这一要求吗？我想实现的简单架构图如下所示。编辑
为了满足上述要求，我编写了一个自定义DAG，如下所示。def _c
浏览 7提问于2021-06-20得票数 1
是否可以在气流模板中解析JSON字符串？t1 = SimpleHttpOperator( task_id="job",
endpoint="some_url"
浏览 2提问于2017-11-27得票数 8
回答已采纳
我正在尝试将DAG名称转换为以下JSON： INFO - {'conf': <airflow.configuration.AutoReloadableProxy object at ... >, 'dag': <DAG: dag-name-i-want-to-get>, 'ds': '2021-07-29' ...N } 顺便说一下，我在Airflow中使用以下函数获得了JSON： d
浏览 23提问于2021-07-29得票数 1
回答已采纳
1回答
桶中有一个JSON文件，我试图使用DAG将它传递给BQ，但是得到了一个错误。此外，每当新的JSON文件将上传到BQ中时，我都会截断该表。我的JSON文件是这样的:-
with DAG
浏览 0提问于2022-08-31得票数 0
回答已采纳
看起来Airflow有一个实验性的REST api，允许用户创建带有https POST请求的dag run。这太棒了。
有没有一种方法可以通过HTTP将参数传递给create dag运行？
浏览 3提问于2018-05-02得票数 13
回答已采纳
我在Kubernetes上运行airflow (所以我不想要一个涉及CLI命令的解决方案，理想情况下一切都应该可以通过GUI完成)。 我有一些任务，只想手动向命令注入一个变量。我可以使用气流变量来实现这一点，但用户必须创建并重新设置变量。 对于变量，它可能如下所示： flag = Variable.get()
append_args = "--injected-argument" if flag == "True" else "" 或者，您可以使用jinja模板。 有
浏览 21提问于2021-08-31得票数 0
本质上，我想创建一个从REST API (https)下载数据的工作流，将这些数据转换为JSON格式，并将其上传到Google Cloud存储单元。# Usual Airflow import
dag = DAG( default_args=default_args{vendorId}/reporting".format({vendorId: "some number"}
浏览 0提问于2019-10-04得票数 7
def create_dag(dag_id, default_args): res = requests.post('https://dummyURL') def sendAlert(**kwargs):
requests.post('https:/&#
浏览 18提问于2020-07-24得票数 0
1回答
'main_class_name': 'com.task_1.driver.TestClass1', '{{ dag_run.conf.json'main_class_name': 'com.task_2.driver.TestClass2', '{{ dag</em
浏览 2提问于2020-07-08得票数 1
回答已采纳
'main_class_name': 'com.task_1.driver.TestClass1', '{{ dag_run.conf.json'main_class_name': 'com.task_2.driver.TestClass2', '{{ dag</em
浏览 0提问于2020-07-14得票数 5
回答已采纳
2回答
我目前正在为气流开发DAG。我喜欢使用PyCharm，并且倾向于为我的每个项目创建一个虚拟环境。
气流依赖于在安装过程中设置的AIRFLOW_HOME文件夹。然后通过气流在此文件夹中创建子目录。
浏览 0提问于2018-04-26得票数 10
1回答
HOST=<my-elasticsearch-host>:9200AIRFLOW__ELASTICSEARCH__JSON_FORMAT=True我看到stdout中的日志是json： "asctime": "2022-01-
浏览 17提问于2022-01-20得票数 0
回答已采纳
然后，气流执行一系列与DAG相关的任务。例如，先从红移中提取数据，从MySQL中提取数据，对两个结果集进行一些操作，将它们组合起来，然后将结果上传到S3，发送一封电子邮件。
浏览 6提问于2017-02-22得票数 32
回答已采纳
我有一个通过airflow API在DAG AIRFLOW中调用python脚本的用例。这个python脚本将通过JSON接收参数。我可以在shell上运行python，它会返回预期的结果。:8080/api/experimental/dags/DAG-3/dag_runs -d '{"conf":"{\"hostname\":\"<servername>\", \"use
浏览 72提问于2020-07-18得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号