我正在尝试使用bigquery钩子在airflow中创建bigquery视图，并给出以下错误。File "/usr/local/lib/airflow/airflow/operators/python_operator.py", line 113, in execut File
浏览 14提问于2020-10-01得票数 1
回答已采纳
我正在尝试将bigquery查询保存到自定义Airflow操作符中的dataframe。我尝试过使用airflow.contrib.hooks.bigquery_hook和get_pandas_df方法。任务get停留在身份验证上，因为它需要我手动访问一个url来进行身份验证。context):
浏览 1提问于2019-06-20得票数 3
我们在GCP项目A中有airflow composer实例，而我们的BQ数据集存在于项目B中。当我们试图从BQ中读取数据时，我们得到了错误。我们把钩子写成钩子= BigQueryHook(bigquery_conn_id='bigquery_default'，delegate_to=None，use_legacy_sql=False)
如何在此
浏览 3提问于2021-12-02得票数 0
我有一个BQ查询，它会产生很多数据，我通常会将这些数据保存为一个新表。是否可以将此过程安排为每天进行？如果可能，推荐的方法是什么？
浏览 0提问于2018-06-28得票数 0
我正在为分析团队开发数据目录，希望为他们提供气流作业信息的视图，包括dag id，执行，任务状态等存储到Bigquery表中，并暴露为仪表板视图。任何建议，我应该如何处理design.Should，我使用Airflow CLI或Bashoperator来创建文件并写入Bigquery。
谢谢
浏览 1提问于2021-06-01得票数 1
我正在尝试创建一个气流(1.10.9)样条，我使用的是对接器映像(我正在使用本地，所有事情都很好，直到我试图导入。)from airflow.contrib.operators.bigquery_to_gcs import BigQueryToCloudStorageOperator Traceback6, in <module> from airflow.contrib.operators.bigquery_to_gcs import
浏览 0提问于2021-10-02得票数 0
我尝试使用cloud composer来调度和编排Bigquery作业。Bigquery表在澳大利亚-东南1 region.The云composer环境是在美国中央1地区创建的(因为composer在澳大利亚地区不可用)。当我尝试下面的命令时，它抛出一个模糊的错误。当我尝试使用驻留在欧盟和美国的数据集时，相同的设置工作得很好。"/usr/local/lib/airflow/airflow/contri
浏览 11提问于2019-02-13得票数 0
回答已采纳
尝试下面的示例：
airflow test bigquery_github_trends_v1 bq_check_githubarchive_day 2017-06-02[2017-09-11 16:32:26,631] {models.py:1126} INFO - Dependencies all met for <TaskInstance: bigquery_github_trends_v1/contrib/hooks/bigq
浏览 9提问于2017-09-12得票数 2
回答已采纳
我正在尝试基于数据库调用的响应动态创建任务。但是当我这样做时，run选项就不能进入气流，所以我不能运行。task_id = "materialize_" + vname, google_cloud_storage_conn_id="google
浏览 0提问于2019-08-29得票数 0
我们在GCP项目中使用有管理的气流。from datetime import datetime
from airflow.providers.google.cloud.operators.bigqueryPythonOperator来使用bigquery</em
浏览 18提问于2022-11-11得票数 0
回答已采纳
我有一个外部Sheets表，我想通过Airflow中的BigQueryOperator查询它。Conn Id: bigquery_with_gdrive_scopeProject,https://www.googleapis.com/auth/cloud-platform,https:&
浏览 4提问于2018-08-09得票数 2
回答已采纳
我试图在Composer中创建一个DAG。导入时，我将得到以下错误：这是DAG文件。如您所见，它试图将云存储文件复制到bigquery中：from datetime import timedelta, datetime
from airflow
浏览 0提问于2019-04-30得票数 2
回答已采纳
我正在尝试使用jinja模板宏在dag中创建dag级变量，但它不起作用。如果我在python操作符下定义它，它就能工作，但是我也需要在以下操作符中使用相同的变量：from airflow.macros import ds_addfrom airflow</e
浏览 8提问于2022-03-16得票数 0
回答已采纳
不幸的是，到目前为止，我还不能让它与bigquery操作符一起工作。我已经尽了最大的努力寻找解决方案，但我还是被卡住了。我使用的是本地运行的顺序执行器。下面是我的代码：from airflow.contrib.operators.bigquery_operator import BigQueryOperator='bigquery_default', udf_con
浏览 3提问于2016-08-27得票数 10
回答已采纳
我正在尝试设置数据管道，将数据从GCS移动到BigQuery，执行某些任务/处理并将其加载到MongoDB集群(所有这些都是在python中使用DAG设置的)。如果没有，是否可以使用气流中提供的mongoDB挂钩创建自定义代码？编辑1
我使用了MongoHook和BigQueryGetDataOperator的源代码(下面是代码片段)。airflow.contrib.hooks.bigquery_hook import BigQ
浏览 2提问于2018-11-20得票数 1
2回答
我认为另一种方法可能是在更大的驱动程序进程中使用这个参数化的dag作为子dag。但同样不确定这是否是最佳实践方法。### My first dag to play around with bigquery and gcp stuff.from airflow.operators.bash_operatorimport BigQueryHook
from airf
浏览 3提问于2017-03-21得票数 7
回答已采纳
我有一个简单的DAGfrom airflow.contrib.operators.bigquery_operator import BigQueryOperatormy_dataset.my_table20180524'), bigquery_conn_idbq_task时，我得到了下面的错误
浏览 2提问于2018-05-24得票数 6
当多个团队在同一个项目和数据集下工作时，我们需要将各个团队创建的所有表合并在一起。因为每个团队对表都有不同的标签，所以标签对我们来说是必要的。import models, DAG
from airflow.contrib.operators import bigquery_operator, bigquery_to_gcs, bigquery_table_delete_operatorfrom airflow.operators.python_operator import Python
浏览 2提问于2021-11-16得票数 0
回答已采纳
我正在使用气流中的BigQueryCreateEmptyTableOperator在BigQuery项目中创建表。一切都很好，除了分区表。()传递给time_partitioning参数时，我会得到以下完全无意义的错误消息：
google.api_core.exceptions.BadRequest: 400 POST https://bigquery.googleapis.com/bigquery/v2/projects/MY_PROJECT&
浏览 12提问于2022-07-05得票数 0
根据Airflow Docs here中提供的文档，可以将AutoMLImportDataOperator配置为输入源。但是，我很好奇如何使用BQ表，因为AutoML表本身就有相应的功能。
浏览 13提问于2020-03-25得票数 1
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
