我想创建beam数据流作业来从GCS加载数据到Bigquery，我将在GCS的不同文件夹中有100s的文件，可以在GCS的不同文件夹中加载文件，是否可以在beam代码中创建源数据集和表。我的最终目标是创建管道，将数据从GCS加载到Bigquery，谢谢。
浏览 10提问于2021-02-23得票数 0
回答已采纳
出于报告的目的，我正在考虑将我们的购物数据移动到BigQuery。我通过shopify API对customers端点进行分页，并获得所有客户级数据。然后我将其导出为csv，然后将其存储在google云存储上，然后导入到BigQuery。我的问题是，考虑到当前customer datamart上的一些条目(例如，总订单数)可能已经更改，并且自上次表更新以来可能已经创建了一些新客户，那么处理增量数据加载的最佳方法是什么。任何关于设计模式
浏览 0提问于2021-03-06得票数 1
我正在实现一个ETL作业，它将非分区的BigQuery表迁移到分区的表。为此，我使用了来自BigQuery的Storage。这将创建许多要从其中提取数据的会话。为了将BigQuery写入路由到正确的分区，我使用了File方法。由于30天的限制，流插入是不可行的。存储写API似乎是有限的，识别分区。
通过驻留到File方法，数据将
浏览 4提问于2022-09-12得票数 1
我有一个很小的流水线，我正在尝试执行：我已经通过Dataprep创建了一个数据流作业，因为它有很好的UI，可以在写入GCS表之前执行所有转换(写入BigQuery很好)，并且云函数会在文件上传到BigQuery存储桶时触发。然而，云函
浏览 64提问于2018-05-08得票数 1
回答已采纳
2回答
GCP中的流水线
、、、
我经常从数据源收集大量数据，并将其存储在GCS桶上。目前，它们存放在一个当地地区(伦敦)。我们使用GCP服务(如composer、数据流或云功能等)结合ETL将这些数据流水线化。到居住在同一地区(例如欧洲-伦敦西部)的BigQuery表。GCS水桶:项目1，伦敦的桶(欧洲-西
浏览 2提问于2019-10-30得票数 0
回答已采纳
需要存储在某个地方(bigquery?)在那里我可以请求并发送给用户。用户应该只能得到一个唯一的代码，这是事先没有使用的。提前感谢
浏览 4提问于2021-04-13得票数 0
回答已采纳
2回答
将数据从BigQuery导出到谷歌存储的最佳方式是什么？注意，我需要对Bigquery运行查询，而不是导出所有数据。本质上，我需要对BigQuery (如select * from mytable where code=foo )运行自定义查询，查询结果需要写入存储在Google Cloud上的csv中。我相信，最好的方法是通过Google Dataflow。如果还有其他选择，请让我知道。此外，我正在寻找一些如何实现这一点的样本。有没有我能找到一些例子的</em
浏览 0提问于2017-01-05得票数 2
1回答
有一个将表数据从BigQuery复制到CloudSql的管道。 云SQL表的创建发生在数据流之外。 现在我们需要在数据流中创建表。 我有表格要创建在GCS存储桶中作为.sql文件。下面是将表从BQ复制到sql的代码片段。
浏览 75提问于2021-09-20得票数 1
回答已采纳
我想每天从SQL Server加载大约100个小表(最少5条记录，最多10000条记录)到谷歌BigQuery。我们已经创建了100个数据流水线，每个源表一个流水线。当我们启动一条流水线时，大约需要7分钟来执行。当然，它会启动DataProc，连接到SQL server，并将数据导入Google BigQuery。当我们必须按顺序运行时，需要700分钟吗？当我们尝试在流水线中并行运行时，我们受到网络范围的限制，可能是
浏览 42提问于2020-07-01得票数 1
也许我是个糟糕的探索者，但我在文档中找不到答案，所以我只想在这里试试运气。我知道写GCS似乎不是原子的，在作业运行的过程中会产生部分输出分区。但是，我已经尝试过通过数据流将数据转储到BQ中，并且在作业声称成功之前，输出表</e
浏览 6提问于2016-08-05得票数 1
回答已采纳
1回答
比如说，在Dataflow/Apache程序中，我正在尝试读取数据呈指数增长的表。我想提高阅读的性能。dataset.tablename")BigQueryIO.Read.fromQuery("SELECT A, B FROM [projectid:dataset.tablename]")
如果我只是在表中选择所需的列，而不是上面的整个表，那么我的读取性能会提高吗？
浏览 1提问于2019-01-29得票数 4
回答已采纳
1回答
我有一些关于Composer和BigQuery的问题。我们需要导入并创建一个自动流程，以便将表从BigQuery导出到存储。我现在有四个选择：
bigquery_to_gcs OperatorBashOperator:执行Cloud在Composer.Python函数上提供的"bq“命令:使用BigQuery API创建BigQuery函数，几乎与bigquery_to_
浏览 2提问于2019-09-30得票数 0
回答已采纳
目前，我面临着让我的beam流水线在数据流上运行以将数据从发布/订阅写入BigQuery的问题。我已经查看了各个步骤，所有数据本身似乎都在按预期进行更改。问题来自使用beam.io.gcp.bigquery.WriteToBigQuery的步骤。虽然这个错误是准确的，因为这些字段在模式中不存在，但我将additional_bq_parameters作为： 'schemaUpdateOpti
浏览 0提问于2020-03-11得票数 1
我正在尝试创建一个数据流水线，以便从STRUCT类型的bigquery中读取表，但收到了这个错误：
2021-06-01 19:13:53,818 - WARN [service-http-executornamespaces/system/apps/dataprep/services/service/methods/contexts/interoper_prd/connections/interoper
浏览 18提问于2021-06-02得票数 0
我有一个批处理Apache梁作业，它从GCS获取一个文件作为输入。我的目标是将文件移动到两个GCS存储桶中的一个，这取决于执行后管道的状态。如果流水线执行成功，则将文件移至存储桶A，否则，如果流水线在执行过程中出现任何未处理的异常，则将文件移至存储桶B。我正在使用Java的Apache Beam2.24.0版本，我需要创建一个Dataflow模板，以便使用不同的输入文件多次运行它。
浏览 21提问于2020-09-24得票数 0
这些数据呈指数增长，我需要一种高效的方法来执行查询。数据库以~3GB/天的速度增长，我希望将数据保存至少3个月。因此，我把我的CloudSQL连接到BigQuery ..。下面是我在BigQuery上运行的一个查询示例，但我对此表示怀疑。不确定查询是在Postgres还是BigQuery中执行的。created_at) d, variable1, AVG(variable2) FROM my_table GROUP BY 1,2 ORDER
浏览 1提问于2020-06-03得票数 1
回答已采纳
我注意到的一件事是，BigQueryIO.read().fromQuery()的性能比BigQueryIO.read().from()在Apache中的性能要慢得多。这一切为什么要发生？
浏览 1提问于2018-04-18得票数 7
回答已采纳
我正在尝试将JSON事件数据从加载到BigQuery，并且希望以字符串的形式加载所有数据，然后再进行转换，因为对于某些消息，它们看起来如下所示：{"id":234}
我写的schema.json行: 2；错误: 1；最大错误: 0；错误百分比:读取数据时出现0错误，错误消息:从位置13开始的行中的JSON解析错误:无法将值转换为字符串。我每天都要处理大约80 to的这些JSON文件，那么我能做些什么来
浏览 2提问于2020-11-24得票数 3
1回答
我在我的本地机器上创建了一个滑雪板模型。然后我就把它上传到google存储上了。我已经创建了一个模型和版本在人工智能平台上使用相同的模型。它正在为在线预测工作。现在，我希望执行批处理预测，并将数据存储到大查询中，比如每次执行预测时它都会更新大查询表。
有人能建议我怎么做吗？
浏览 1提问于2019-07-15得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
