我正在尝试创建一个airflow DAG，它根据服务器的响应生成任务。以下是我的方法： 从bigquery ->中获取表列表遍历列表并创建任务 这是我最新的代码，我已经尝试了在堆栈溢出中找到的所有可能的代码。似乎什么都不起作用。我做错了什么？+ t,
浏览 22提问于2019-08-28得票数 0
我正在尝试基于数据库调用的响应动态创建任务。但是当我这样做时，run选项就不能进入气流，所以我不能运行。task_id = "materialize_" + vname, google_cloud_s
浏览 0提问于2019-08-29得票数 0
1回答
我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。
我是GCP的新手，但我对数据工程技术有很好的理解，因为我正在为认证做准备。我尝试使用转换成管道的数据流简单地加载BigQuery，然后调度器在特定的时间运行管道。我遇到的问题是如何将已处理的CSV文件移动到其他桶中？我可以调用函数来移动文件吗？
浏览 4提问于2022-10-21得票数 1
我有一个外部Sheets表，我想通过Airflow中的BigQueryOperator查询它。Conn Id: bigquery_with_gdrive_scopeProject,https://www.googleapis.com/auth/cloud-platfor
浏览 4提问于2018-08-09得票数 2
回答已采纳
1回答
我正在尝试创建一个DAG，它基于存储中的JSON文件动态地生成任务。我一步一步地遵循这个指南：
是否可以读取外部文件并使用它在Composer中动态创建任务？我需要从外部文件中读取，因为JSON的内容在每次执行时都会发生变化。
我正在使用composer-1.8.2-airflow-1.10.2。我读到了
浏览 1提问于2020-01-10得票数 1
不熟悉airflow。尝试运行sql并将结果存储在BigQuery表中。请帮帮我。/contrib/operators/bigquery_operator.py", line 82, in execute File "/usr/
浏览 12提问于2017-08-11得票数 4
回答已采纳
我正在尝试挂载dags文件夹，以便能够在Aiflow上的KubernetesPodOperator中运行python脚本，但我不知道怎么做。在生产中，我想在谷歌作曲家。这是我的任务： task_id='pod-ex-minimum',
cmds=["bash", "
浏览 4提问于2021-10-12得票数 1
上下文 我正在尝试使用Composer，DataProc和BigQuery在谷歌云平台上建立一个摄取管道。我在BigQuery中有一个表，其中包含数据源及其相关文件的记录。因此，如果我需要摄取5个文件，那么在BigQuery表中就有5条记录。明天可能会有不同数量的文件。因此，我考虑在我的DAG中动态构建任务。我可以在Airflow UI中看到我的DAG和所有<em
浏览 51提问于2021-02-25得票数 0
回答已采纳
我正在尝试在GCC上运行BigQueryOperator。import bigquery_operatorfrom airflow.utilshtml_content=""" """)
hello_python >> bq_union_query >&
浏览 13提问于2019-03-22得票数 2
回答已采纳
1回答
无法将大文件下载到数据文件夹
、、、、
每周，我必须从ftp服务器下载一个文件到GCS，然后将该文件从GCS导入到BigQuery。我开始在中实现这个数据流作业。我把数据流分成三个任务我面临从ftp服务器下载
浏览 3提问于2020-10-26得票数 0
我成功地使用以下查询筛选器在控制台中设置了基于日志的警报：severity="ERROR"resource.labels.project_id="project-id"
textPayload=~"my_dag
浏览 12提问于2022-11-10得票数 0
我正在使用Airflow Version 2.2.5/Composer 2.0.15实现任务超时错误。在Airflow version2.2.3 /Composer Version 1.18.0中，相同的代码运行得非常好。我们为达格和任务制定了一个框架。|___达格|___库
( a)所有主守护文件都位于dags文件夹中。( b)实际函数或查询(来自Pyt
浏览 32提问于2022-06-13得票数 0
回答已采纳
1回答
根据何时更新表启动DAG
、、、、
我有一个10-15步的DAG进程，在更新了一个bigquery表之后，我需要启动它。可以使用一个简单的select SQL语句检查该表：当该查询返回值时，我们需要在Airflow/ composer中启动一系列任务。
浏览 8提问于2022-05-23得票数 0
Airflow Version : 2.2.5我们有一个任务组，它使用for循环动态地创建任务。在任务组中，我们使用BigQueryTableDeleteOperator删除表。问题:我们注意到，一旦删除了表，所有任务都会移动到REMOVED状态，从而用Task not found的错误消息破坏了GANTT chart。在任务运行之前:图1任务
浏览 3提问于2022-08-29得票数 1
回答已采纳
1回答
我有一些关于Composer和BigQuery的问题。我们需要导入并创建一个自动流程，以便将表从BigQuery导出到存储。我现在有四个选择：
bigquery_to_gcs OperatorBashOperator:执行Cloud在Composer.Python函数上提供的"bq“命令:使用BigQuery API创建BigQuery函数，几乎与bigquery_to_gcs相同，并使用
浏览 2提问于2019-09-30得票数 0
回答已采纳
我正在尝试使用jinja模板宏在dag中创建dag级变量，但它不起作用。如果我在python操作符下定义它，它就能工作，但是我也需要在以下操作符中使用相同的变量：from airflow.operators.dummy import DummyOperator
f
浏览 8提问于2022-03-16得票数 0
回答已采纳
我试图从1.16.4-airflow-1.10.15迁移到composer-2.0.1-airflow-2.1.4，但是我们在库中遇到了一些困难，因为每次我上传库时，调度程序都无法工作。fuzzywuzzygitpythongoogle-api-python-clientgoogle-cloud-bigquery-storagepymysqlfasttextclick==7.1
浏览 4提问于2022-01-12得票数 0
回答已采纳
有没有办法设计一个在dag之外实现特定数据管道模式的python类，以便将这个类用于所有需要该模式的数据管道？然后尝试在Big Query中加载原始表中的数据，然后根据加载结果将文件分派到存档或拒绝的文件夹中。 做一次很容易，如果需要做1000次呢？我正在试图弄清楚如何优化工程时间。任务组需要是dag的一部分才能实现https://github.com/apache/airflow/blob/1be3ef635fab635f74
浏览 39提问于2021-09-06得票数 1
回答已采纳
在使用cloud-composer执行以下python脚本时，我在Airflow代码中的gcs2bq任务日志下获得了*** Task instance did not exist in the DB：airflow.contrib.operators import dataproc_operator
from airflow.operators.bash_operator import BashOperatorfrom airflow
浏览 0提问于2018-11-19得票数 0
我尝试使用cloud composer来调度和编排Bigquery作业。Bigquery表在澳大利亚-东南1 region.The云composer环境是在美国中央1地区创建的(因为composer在澳大利亚地区不可用)。当我尝试下面的命令时，它抛出一个模糊的错误。Command:
gcloud beta composer environments run bq-schedule --location us-cent
浏览 11提问于2019-02-13得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
