我目前正在使用Airflow和BigQuery操作符来触发各种SQL脚本。当SQL直接写入Airflow DAG文件时，这种方法可以很好地工作。例如： task_id='bq-transform',
浏览 36提问于2019-07-24得票数 2
回答已采纳
我正在尝试使用BigQueryInsertJobOperator来查询谷歌BigQuery。我试图将变量名传递到sql文件中，但遇到错误。根据我在sql文件中键入的内容，错误略有不同，但它无法识别变量。dag_id, start_date= days_ago(1),
template_searchpath = '/mypath/sql
浏览 2提问于2021-06-18得票数 0
我正在尝试使用jinja模板宏在dag中创建dag级变量，但它不起作用。如果我在python操作符下定义它，它就能工作，但是我也需要在以下操作符中使用相同的变量：from airflow.operators.dummy import DummyOperator
from airflow</e
浏览 8提问于2022-03-16得票数 0
回答已采纳
我就是这么做的import logging
from airflow.contrib.operators importbigquery_operator
datetime.datetime.min
浏览 0提问于2018-11-30得票数 5
回答已采纳
我想检查一下我的表是否加载正确。如果它没有正确加载，那么记录的数量将为零。我正在使用SQLCheckOperator来完成此任务。='bigquery_default', dag=dag我得到了下面的错误：
Executing SQL check: SELECT COUNTFile "/usr/local/lib/airflow
浏览 0提问于2021-02-02得票数 2
我在这里的目的是在GCS中存储sql代码，并使用Bigquery操作符为我的日常ETL进程传递'sql‘参数。Exception: BigQuery job failed.sql代码，这是一个简单的FROM 正在将换行符/n作为sql文件的一部分读取，因此它作为无效查询失败。当
浏览 13提问于2020-12-05得票数 1
回答已采纳
我在一个气流实例中有一个自定义pythonoperator，它应该从bigquery中提取一个记录列表，我可以在API查询中引用这些记录。os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "/home/airflow/airflow/keys/the_JSON.json"
geoclient = Geoc
浏览 9提问于2022-06-12得票数 0
回答已采纳
我们希望在Dag中的Dag触发器期间从UI读取cli输入传递给dag。我尝试了下面的代码，但它不起作用。import bigqueryPROJECT_ID = Variable.get("HDM_PROJECT_ID")k
浏览 1提问于2021-12-30得票数 0
我正在Google上的气流DAG中扩展地使用BigQueryOperator。
对于较长的查询，最好将每个查询放在自己的.sql文件中，而不是将DAG与其混淆。气流似乎支持所有SQL查询操作符，包括BigQueryOperator，正如您在中所看到的那样。我的问题是:在我用.sql模板文件编写了我的sql语句之后，如何将它添加到
浏览 0提问于2018-06-08得票数 7
回答已采纳
3回答
如何编写DAG来传递sql文件？
、、、、
我需要编写一个DAG，在其中我需要传递sql文件。sql文件由许多查询组成，它使用大查询表。它应该安排在PST凌晨3点左右每天运行一次。对于这个DAG，我需要使用哪些操作符？在DML中，还有一个名为event_current_date的变量，它被设置为获取前一天的数据，但是它应该是参数化的，因此需要在前一天运行这个过程。需要在DAG文件中还是在Sql文件中进行参数
浏览 4提问于2022-06-12得票数 1
回答已采纳
我正在升级到1.10.2，从1.9.0，在python2.7，我遇到了airflow/contrib/operators/bigquery_operator.py的麻烦，更确切地说，bql参数的降级有利于DAG正在使用BigQueryToPartitionTableOperator。当我做了一个airflow list_dags来得到可解析的，下面是我得到的
Traceback (most recent call last
浏览 1提问于2019-06-27得票数 0
回答已采纳
我们在GCP项目中使用有管理的气流。from datetime import datetime
from airflow.providers.google.cloud.operators.bigqueryPython
浏览 18提问于2022-11-11得票数 0
回答已采纳
1回答
我对气流很陌生，我想知道如何将文件从GCS桶加载到BigQuery？到目前为止，我已经成功地对GCS做了BigQuery： task_id='bq_recent_questions_query', SELECT owner_display_name, title, view
浏览 6提问于2022-10-25得票数 0
回答已采纳
在进行项目时，遇到了这样一种情况:我们希望使用气流来执行很少的任务，但是不允许使用python操作符，而是被指示使用本地的BigQuery操作符。谁能帮我这样的代码，如设置气流变量，或如何编写条件代码，这将执行by操作。有可能吗？如果没有，那么我的下一个问题是，是否有可能使用BQ操作符从BQ表中获取结果，并将其分配给一个python变量，所以想同时使用</
浏览 6提问于2021-11-28得票数 1
回答已采纳
我已经创建了下面的DAG用于每天运行sql脚本。如何将查询结果保存为JSON文件并保存到Google Composer的DAG文件夹中？import datetimefrom airflow.operators import bash_operator
START_DATE = datetim
浏览 9提问于2020-03-18得票数 0
2回答
我正在编写DAG代码，并希望执行一条UPDATE语句来选择性地设置特定行中某些字段的值。SQL语句很简单，但我不知道如何通过气流执行它。BigQueryUpdateTableOperator 上的文档表示整个数据集将被替换。我尝试了很长一段时间没有找到合适的接线员。如何通过气流在UPDATE上执行BigQuery查询？我的DAG在GCP作曲家环境中。
浏览 9提问于2022-07-19得票数 0
回答已采纳
1回答
我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。
我是GCP的新手，但我对数据工程技术有很好的理解，因为我正在为认证做准备。我尝试使用转换成管道的数据流简单地加载BigQuery，然后调度器在特定的时间运行管道。我遇到的问题是如何将已处理的CSV文件移动到其他桶中？我可以调用函数来移
浏览 4提问于2022-10-21得票数 1
我对堆栈溢出很陌生，这是我的第一篇文章。我也是GCP的新手，我正在编写Python脚本(Airflow DAG)，使用以下方法将表从BigQuery提取到GCS桶：dataset_idprint()
我的
浏览 4提问于2022-11-18得票数 0
我知道我们可以使用airflow bigquery_to_gcs操作符将bigquery表复制到GCS，但这也会复制列名。我有一个用例，它应该只有列值，而不是名称。有可能吗？水果| any_value |苹果|梨|我希望我的csv文件是这样的苹果，梨而如果我使用bigquery_to_gcs，则输出为
水果
浏览 0提问于2020-10-17得票数 0
我每天运行一个airflow作业，运行aa查询，并将其保存到大型查询上的表中，然后另一个操作员将输出复制到GCS中。下面是呈现的代码
start = DummyOperator(task_id="start&q
浏览 5提问于2021-12-02得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
