对于Airflow，我想运行一个查询，根据ds返回给定时间段的所有数据。ds始终是我的结束日期，但开始日期可以改变。例如，它可以是一周或一个完整的月。为了处理这一点，我想创建不同的dags，每个月或每周运行一次。到目前一切尚好。然而，当我想通过start_dt考试时，我遇到了麻烦where report_dt between '{{ params.report_star
浏览 10提问于2020-02-05得票数 0
1回答
下面是我的DAG文件 from airflow import DAGfrom datetime import timedeltafrom airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import}}作为一个参数传递给我的操
浏览 12提问于2020-12-24得票数 1
在触发dag运行时，我尝试将以下配置参数传递给Airflow CLI。以下是我正在使用的trigger_dag命令。airflow trigger_dag -c '{"account_list":"[1,2,3,4,5]", "start_date":"2016-04-25"}' insights_assembly_9900
我的问题是，如何在dag运行中<
浏览 11提问于2017-04-27得票数 24
回答已采纳
1回答
每周目录都有一个新的归档文件，其名称类似于data_YYYYMMDD.zip。本周数据将于下周收到的问题。我知道Airflow在开始日期后的一个schedule_interval运行我的工作，在期末。
我的
浏览 1提问于2018-12-17得票数 1
我正在尝试读取sql文件，其中包含与jinja模板在自定义操作符在气流中的查询。ds }，比如SELECT * FROM my_table WHERE date > {{ ds }}I用template_fields和template_ext创建了CustomOperator='sql_process', sql="/
浏览 1提问于2020-05-07得票数 6
我有一个带有python操作符的DAG，它运行一个SQL查询并输出到.csv。第二个操作符只返回true，以便生成DAG。我似乎无法访问函数中的ds变量。我想这样做是为了传递给查询。from airflow.models import Variable, DAGfrom airflow.operato
浏览 0提问于2018-08-23得票数 0
回答已采纳
我正在尝试使用airflow在远程系统中运行一个Pentaho作业。我能够使用airflow的SSH操作符SSH进入远程系统并运行shell脚本，但我想知道如何将参数传递给shell脚本。PENT_HOME/Details.kjb“-level=Basic > $logFolder/date -u +"%Y-%m-%dT%H:%M:%SZ"-Details.log 2>&1 我用于运行不带<e
浏览 107提问于2021-01-13得票数 2
1回答
我想知道如何将参数传递给通过airflow运行的配置单元查询脚本。如果我只想为这个脚本添加一个参数，比如target_db = mydatabase，我该怎么做呢？我是否需要将它添加到default_args中，然后在脚本的op_kwargs中调用它？default_args = { &
浏览 3提问于2018-01-04得票数 1
回答已采纳
我对火花和气流很陌生，试着理解如何利用气流来启动一项工作，以及工作所需的参数。这就是您应该如何运行作业&传递参数吗？
是否可以手动传递某些开始和结束日期以使作业运行？从airflow.contrib.operators.spark_submit_operator导入SparkSubmitOperator从airflow</em
浏览 0提问于2018-04-21得票数 7
但是，pyspark模块需要将session变量作为参数。我已经使用application_args将参数传递给pyspark模块。但是，当我运行dag时，submit操作符失败了，我传入的参数被认为是None类型变量。需要知道如何将参数传递给通过spark_submit_operator触发的pyspark模块。DAG代码如下：
from pyspark.sql import SparkSessi
浏览 1提问于2021-11-24得票数 0
让BashOperator或SqlOperator为其模板获取外部文件的方法在某种程度上已经有了明确的文档记录，但是查看 --我对从文档中理解什么的测试--是行不通的。我不确定templates_exts和templates_dict参数如何正确地交互来获取文件。在我创建的dags文件夹中：pyoptemplate.sql和pyoptemplate.t以及test_python_operator_template.py
pyoptem
浏览 12提问于2017-01-19得票数 24
回答已采纳
在我们的项目中，我们使用的是DataprocClusterCreateOperator，它是在from airflow.contrib.operators import dataproc_operator下进行的。我们正在升级到气流2.1.2，当测试或测试需要旋转DataProc集群时，我们发现错误为airflow.exceptions.AirflowException: Invalid arguments wereInvalid arguments were: **kwargs: {'conf
浏览 16提问于2021-12-15得票数 1
回答已采纳
我正在做一些简单的Apache气流DAG。我的目标是：
...)
load_data_to_bq_table = BigQueryOperator(
task_id='load_data_to_bq_tabl
浏览 1提问于2020-05-29得票数 0
回答已采纳
我试图将变量名传递到sql文件中，但遇到错误。根据我在sql文件中键入的内容，错误略有不同，但它无法识别变量。dag_id, start_date= days_ago(1), "query":{
&quo
浏览 2提问于2021-06-18得票数 0
我正在升级到1.10.2，从1.9.0，在python2.7，我遇到了airflow/contrib/operators/bigquery_operator.py的麻烦，更确切地说，bql参数的降级有利于当我做了一个airflow list_dags来得到可解析的，下面是我得到的 File "/usr/local/lib
浏览 1提问于2019-06-27得票数 0
回答已采纳
我正在尝试使用Dataproc of Airflow从一个Cloud Composer DAG创建一个DataprocCreateClusterOperator集群。我需要从我的Cloud SQL集群访问Dataproc，因此也需要在集群上安装Cloud SQL proxy。我在集群配置中为Cloud SQL Proxy操作符提供了的初始化操作，如下所示：
浏览 1提问于2022-07-09得票数 2
2回答
我是阿帕奇气流的新手。我想使用DAG调用REST端点。我正在做的是使用SimpleHttpOperator调用Rest端点。12-30T08:57:00.674386+00:0009:09:07,446] {{dagbag.py:92}} INFO - Filling up the DagBag from
浏览 12提问于2020-01-03得票数 7
1回答
从气流传递参数到对数
、、、、
我已经配置logstash来侦听默认气流日志路径上的日志。我想将elasticsearch中的索引创建为{dag_id}-{task_id}-{execution_date}-{try_number}.所有这些都是气流的参数。这些是airflow.cfg中修改过的值。如何将参数从气流传递给洛格斯塔什？
我已经将logstash配置为侦听日志路径。由于remote_
浏览 5提问于2020-03-30得票数 2
这是我的运算符： task_id='bigquery_check', use_legacy_sqlbigquery_conn_id=CONNECTION_ID, xcom_push=True,)
当我选中UI中的当我在控制台中运行SQ
浏览 0提问于2018-10-14得票数 5
我想写一个由Composer/Airflow (python引用BigQueryOperator文件)执行的查询，如下所示在这一点上，除了之
浏览 5提问于2021-02-04得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
