1回答
我不知道如何继续这项任务。你能帮帮忙吗？我正在创建一个dag，其中用户的参数将被手动传递。这个dag应该使用"pid“来终止postgres数据库中的挂起查询。我已经写了一个代码，我不能通过cli传递参数来测试它。
浏览 13提问于2021-08-04得票数 1
回答已采纳
我试图在基于用户输入的气流中生成动态工作流。我知道可以选择基于文件和数据库的数据，但在所有这些情况下，工作流将不直接依赖用户输入，如果多个用户正在使用相同的数据，那么在这种情况下也可能会出现问题。为了避免所有这些，我正在考虑将用户输入传递给sub并生成工作流。但是subdag没有从ui传递用户输入的选项。
浏览 3提问于2020-11-30得票数 3
回答已采纳
1回答
即使将自定义UUID作为run_id传递给气流dagrun，也会得到此错误。运行id已经存在
为了在一秒钟内创建多个DagRun，应该根据文档将参数"replace_microseconds“设置为"false”。但是如何使用CLI命令实现相同的目标呢？我们正在为Apache气流(MWAA)使用Amazon管理的工作流。
浏览 5提问于2022-10-14得票数 0
但是当通过cli手动触发dag时传递参数是可能的吗。
例如:我的DAG每天下午1点半运行，处理昨天的数据(时间范围从昨天下午1点半到今天1点半)。数据源可能存在一些问题。因此，我是否可以创建这样一个气流DAG，当它被安排时，默认时间范围是从昨天的01:30到今天的01:30。然后，如果数据源有任何问题，我需要手动触发DAG，并手动传递时间范围作为参数。据我所知，airflow test有可以将参数传递给任务的-tp。
浏览 0提问于2018-12-07得票数 37
回答已采纳
我看到可以使用airflow命令行使用参数/配置键-值对进行trigger_dag：
如何通过UI传递外部参数/配置？
浏览 7提问于2020-03-06得票数 8
回答已采纳
我有一个气流DAG，它是通过cli外部触发的。我怎样才能做到这一点？
我知道dag_run.conf只能在操作符的模板字段中使用。
浏览 2提问于2022-03-30得票数 1
回答已采纳
1回答
我有一个带有一些脚本的package.json： "build": "webpack-cli --mode production", }
我只想从命令行传递一个附加参数，而不是从package.json中的脚本中传递一个参数，所以我运行
浏览 0提问于2020-06-29得票数 2
回答已采纳
我需要帮助将论点(conf params)传递给mwaa (气流)从lambda。Lmabda用于触发sqs事件上的守护进程。import base64dag_name = 'tpda_test'
浏览 2提问于2022-04-27得票数 2
2回答
我有一个气流DAG，它创建一个EMR集群，然后在该集群上运行SSHOperator任务。现在，我正在把EMR集群的主公共DNS硬编码成一个气流SSH连接。
浏览 0提问于2019-05-02得票数 2
回答已采纳
1回答
我想要建立微型服务，我将有两个码头容器-快速API和Apache气流。那么，我的问题是如何从某个快速API端点提交一些新的DAG呢？我想应该是气流CLI吧？还是别的什么？
浏览 0提问于2021-09-17得票数 0
回答已采纳
"airflow", "db", "clean", "--verbose", "--clean-before-timestamp", "2022-07-29"])如何才能在那里获得日期变量，而不必对其进行硬编码，因为我将每天运行一个cron作业。
浏览 5提问于2022-08-30得票数 0
回答已采纳
我创建了一个带有重试计数的气流任务，在运行我的气流测试时，它似乎并不是真正的重试。etl-pipeline': 3}},我正在通过：airflow test hello_world verify_pod_initialization 2015-06-01进行测试一切运行良好，但我希望向自己证明，运行测试，我可以看到它运行X次->失败，然后，通过。目前，它只运行一次。只是想知道最佳实践，也想知道如果它失败了，我如何才能让它真正地重试。为了方便我的解
浏览 2提问于2020-06-02得票数 0
回答已采纳
我们可以参数化从气流变量中动态读取的气流schedule_interval，而不是直接作为cron表达式传递。根据气流文档args ={ 'owner'：'pavan'，‘依赖于过去’：False，'start_date'：datetime(2020，1，15)，'email_on_failure'：True，
浏览 3提问于2020-08-05得票数 4
回答已采纳
1回答
从气流传递参数到对数
、、、、
我已经配置logstash来侦听默认气流日志路径上的日志。我想将elasticsearch中的索引创建为{dag_id}-{task_id}-{execution_date}-{try_number}.所有这些都是气流的参数。json_fields = asctime, filename, lineno, levelname, message
这些任务实例的细节需要从气流传递到逻辑仓库如何将参数从气流传递给洛格斯塔什
浏览 5提问于2020-03-30得票数 2
气流版本- 2.3.0 Helm图-Apache-气流/气流# extra:
#
浏览 8提问于2022-11-11得票数 0
回答已采纳
我对气流很陌生。我设置了一个气流环境，我的所有服务都是由气流触发的。但是，我打算直接从气流网将程序参数传递给DAG中定义的服务之一。我在气流网触发器上看到以下选项: DAG / conf我想向DAG传递一个json，如下所示，作为我的程序参数：
{"list_key" : ["K1" : "V1", "K2" : &
浏览 5提问于2022-05-19得票数 1
我开始使用AWS管理的气流。
这样我们就可以在气流场和存储过程中调用我们的存储过程。会在红移集群中运行吗？是否存在用于连接的RedshiftOperator，或者我们可以使用气流菜单中的connection选项创建到Redshift集群的直接连接？如果可能的话，我们是否可以使用AWS控制台实现所有这些，而不使用Aws cli？
浏览 8提问于2021-12-21得票数 0
回答已采纳
我正在运行一个气流DAG，它使用运营商GoogleCloudStorageToBigQueryOperator将数据从GCS移动到BQ，我在气流版本1.10.2上。此任务将数据从MySql转移到by (表分区)，所有这些时间我们被Ingestion-time划分，过去三天的增量负载在使用气流DAG加载数据时工作良好。现在，我们将表中的DATE列上的分区类型更改为Date or timestamp，之后我们开始得到这个错误，因为我们从MySql表中获得了最近三天的数据增量负载，因此我期望B
浏览 5提问于2019-12-04得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
