3回答
我试图在MWAA中安装apache--气流提供商--google，但是看起来气流并没有选择库： File "/usr/local/airflow/dags/mi-fra
浏览 11提问于2021-10-31得票数 2
我试图为bigquery使用异步运算符；但是，ImportError: cannot import name 'BigQueryCheckOperatorAsync' from 'airflow.providers.google.cloud.operators.b
浏览 14提问于2022-11-18得票数 0
回答已采纳
在多个任务由相应的pubsub消息触发的情况下，处理来自pubsub消息输入的数据，最后一个任务仅在所有这些工作流完成时触发。我设法使用PubSub触发整个DAG (在此guide之后对PubSub进行了修改)，但它触发整个DAG，而不是单个任务。有没有办法从外部(从Cloud Function/PubSub)触发DAG中的1个任务？编辑 这是我所认为的DAG代码的简化版本： import google.cloud.bigquery as bigquery
import airflow
浏览 21提问于2021-03-23得票数 1
回答已采纳
我正在创建一个数据管道，通过BigQuery运算符或谷歌云库从Bigquery获取数据。但是我总是得到一个错误。下面是大查询运算符的dag：from datetime import datetime, timedeltafrom airflow.contrib
浏览 13提问于2021-05-13得票数 0
我有一个BQ查询，它会产生很多数据，我通常会将这些数据保存为一个新表。是否可以将此过程安排为每天进行？如果可能，推荐的方法是什么？
浏览 0提问于2018-06-28得票数 0
我正在尝试创建一个气流(1.10.9)样条，我使用的是对接器映像(我正在使用本地，所有事情都很好，直到我试图导入。)from airflow.contrib.operators.bigquery_to_gcs import BigQueryToCloudStorageOperator Traceback/site-packages/airflow/contrib/hooks/bigquery_hook.py"
浏览 0提问于2021-10-02得票数 0
4回答
我的需求是将数据从teradata数据库迁移到Google bigquery数据库，其中表结构和模式保持不变。稍后，使用bigquery数据库，我想生成报告。
有没有人能建议我如何做到这一点？
浏览 0提问于2017-07-19得票数 0
根据Airflow Docs here中提供的文档，可以将AutoMLImportDataOperator配置为输入源。但是，我很好奇如何使用BQ表，因为AutoML表本身就有相应的功能。
浏览 13提问于2020-03-25得票数 1
2回答
我对它进行了研究，目前提出了一个使用Apache Airflow的策略。我仍然不确定该怎么做。我得到的大多数博客和答案都是直接的代码，而不是一些材料来更好地理解它。另外，如果有好的方法，请给我建议。我也得到了一个类似于在Cloud Storage trigger中使用Background Cloud Function的答案。
浏览 0提问于2019-03-04得票数 0
我使用Google编写了一些代码从BigQuery提取到GCS桶中，我不确定我的代码中是否需要to_delete参数。 to_delete.append(bucket)
# from google.cloud import bigq
浏览 15提问于2022-11-18得票数 2
我正在使用Airflow中的BigQueryCheckOperator来了解BQ表中是否存在数据，但Dag使用此ERROR - <HttpError 404 when requesting https://bigquery.googleapis.com/bigquery/v2/projects/失败
有人能告诉我如何解决这个问题吗？
浏览 0提问于2020-07-30得票数 0
我使用bigquery运算符来做这件事，因为根据文档，'destination_dataset_table‘参数应该做我正在寻找的事情(来源：https://airflow.apache.org/docs/stable/_api/airflow/contrib/operators/bigquery_operator/index.html#airflow<
浏览 7提问于2020-09-11得票数 0
我正在寻找一种方法来运行参数化查询，对许多参数并行在谷歌BigQuery，这是可能的吗？"date": "2019-01-02", } }但是，这是非常简化的，因为company_id是分层的，因为表中的访问可能与一家公司及其母公司相关联，以及公司、母公司等，这些访问都是在这里未显示的级别结构中处理的。，我还想以这种方式运行大约20个查询，其中一些查询很简单，可以由company_
浏览 1提问于2019-11-07得票数 0
我正试着在Docker上使用气流。dags目录中的my_python.py文件如下所示：from airflow.operators.python import PythonOperatordef write_to_bigquery(dataset_name, table_name, data_file):
RUN ..
浏览 0提问于2021-02-12得票数 2
我正在使用气流2.2.5，并希望触发一个AWSλ函数。这是我的Dockerfile下面是导入aws_lambda调用的方式：
from airflow
浏览 3提问于2022-04-25得票数 0
我正在尝试使用bigquery钩子在airflow中创建bigquery视图，并给出以下错误。File "/usr/local/lib/airflow/airflow/operators/python_operator.py", line 113, in execut File
浏览 14提问于2020-10-01得票数 1
回答已采纳
1回答
我将开始研究从CSV和数据湖中获取到BigQuery的GCP数据，我正在寻求您的建议，我可以使用哪些技术或架构。
我是GCP的新手，但我对数据工程技术有很好的理解，因为我正在为认证做准备。我尝试使用转换成管道的数据流简单地加载BigQuery，然后调度器在特定的时间运行管道。我遇到的问题是如何将已处理的CSV文件移动到其他桶中？我可以调用函数来移动文件吗？
浏览 4提问于2022-10-21得票数 1
我正在尝试在GCC上运行BigQueryOperator。import bigquery_operatorfrom airflow.utilshtml_content=""" """)
hello_python >> bq_union_query >&
浏览 13提问于2019-03-22得票数 2
回答已采纳
尝试通过airflow GoogleCloudStorageToBigQueryOperator operator将数据从谷歌云存储加载到bigquery中。 task_id=get_task_id("load_into_bq", flow_name),
bucket='bigquery-source-replicationWRITE
浏览 0提问于2021-06-11得票数 2
我们使用气流来调度每日的数据库导出使用。这似乎不适用于气流宏。我们试图使用where子句中的执行日期宏或{{ ds }}导出1天数据。使用宏非常重要，因为我们希望我们的DAG能够回填。instance='instance', dag=dag)
任务运行并被标记为成功，但是，创建的文件中没有数据如何修复此任务或实现同一目标的另一种方法(注意:查询很大，<em
浏览 11提问于2020-12-16得票数 1
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
