将表从BigQuery导出到GCS的最佳方法
提问于 2019-09-30 15:43:21
我有一些关于Composer和BigQuery的问题。我们需要导入并创建一个自动流程，以便将表从BigQuery导出到存储。我现在有四个选择：
- bigquery_to_gcs Operator
- BashOperator:执行Cloud在Composer.
- Python函数上提供的"bq“命令:使用BigQuery API创建BigQuery函数，几乎与bigquery_to_gcs相同，并使用Airflow.
- DataFlow:执行此函数--作业也将在气流中执行。
我有一些想法，与前三个选项的想法。如果表很大，是否有机会消耗Composer的大部分资源？我一直在搜索bashoperator和bigquery操作符是否消耗了Composer的一些资源。总是认为，这一过程将在未来的生产和更多的达格运行在同一时间。如果是这样的话，Dataflow将是一个更方便的选择吗？
数据流的一种很好的方法是，如果我们需要的话，我们可以只在一个文件中导出表，如果表大于1GB，其他选项是不可能的。
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-09-30 16:18:10
BigQuery本身具有将数据导出到GCS的功能。这意味着，如果您使用您提到的任何内容(除了Dataflow作业)，您只需触发将由BigQuery执行和管理的导出作业。
这意味着您不需要担心Composer中集群资源的消耗。bigquery_to_gcs操作符只是指示BigQuery执行导出的控制器。
因此，从您提到的选项中: bigquery_to_gcs运算符、BashOperator和Python将产生类似的低成本。只要你觉得更容易管理就用。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/58176477
复制相关文章
点击加载更多
腾讯云开发者
