我是第一次接触数据流/光束。我正在尝试将一些数据写入BigQuery。我希望目标表名从上一阶段引入一个名为" table“的映射条目。但是我不知道如何通过管道将这个表名传递给BigQuery。
浏览 10提问于2019-06-11得票数 1
如果有人能在这里提供帮助，我将不胜感激，我们刚刚开始研究GCP，需要一个健壮且简单的模式来将发布在云发布/订阅上的xml格式的事务数据加载到一个日期分区的BigQuery表中，以便在AirFlow编排的复杂下游批处理中使用
浏览 22提问于2020-06-29得票数 0
我正在使用Google Dataflow1.9将数据保存到BigQuery表中。我正在寻找一种方法来控制(PCollection)元素写入的表名，基于该元素中的一些值。在我们的例子中，元素包含一个user-id，我们希望将每个元素动态地写入到它自己的用户表中。
浏览 9提问于2017-07-10得票数 0
我正在运行一个作业的谷歌数据流编写的阿帕奇光束，从BigQuery表和文件读取。转换数据并将其写入其他BigQuery表。作业“通常”会成功，但有时当我从大型查询表中读取数据时，会随机得到空指针异常，并且作业会失败：atorg.apache.beam.sdk.io.gcp.bigquery
浏览 0提问于2017-06-23得票数 2
1回答
我有几个表是由GCP DataFlow流媒体应用程序填充的，作为某些数据管道的一部分(它是DataFlow的事实在这里并不重要，除了它是在流模式下半定期填充的事实之外)。这些表由依赖于表名称的下游进程使用。问题所在
问题是，在我的导出开始和加载完成之间，我的DataFlow应用程序可能已经更新了原始表</
浏览 0提问于2019-09-19得票数 1
1回答
我试图从Dataflow管道中将一些数据写入BigQuery表，但是在堆栈驱动程序中，以下错误消息导致写入失败： "error": { { } "code": 401,
"message": "
浏览 0提问于2018-10-02得票数 0
我正在运行一个谷歌数据流的工作与150名工人。我正在阅读来自谷歌PubSub的输入。经过几次充实后，我将结果写入谷歌BigQuery。对于少数记录，我在Google Dataflow中看到以下错误com.google.cloud.dataflow.sdk.runners.worker
浏览 28提问于2017-06-20得票数 0
0回答
我有日志，我正在尝试推送到谷歌BigQuery。我正在尝试使用google dataflow构建整个管道。日志结构不同，可以分为四种不同的类型。在我的管道中，我从PubSub读取日志，对其进行解析，然后写入BigQuery表。日志需要写入的表取决于日志中的一个参数。问题是我被困在了如何在运行时为BigQueryIO.Write更改TableName的问题上。
浏览 0提问于2016-12-28得票数 2
回答已采纳
我有一个数据流作业，包括ReadSource、ParDo、加窗、插入(BigQuery中的日期分区表)。它基本上：
写入到BigQuery，使用窗口表和“dat
浏览 5提问于2016-09-28得票数 0
回答已采纳
我的目标是从BigQuery表中读取数据，并使用Java将其写入云存储上的Avro文件。如果有人提供代码片段/想法来编写BigQuery表数据，并使用Cloud Dataflow将其写入avro格式的数据，那将是一件好事。
浏览 16提问于2019-09-11得票数 0
我试图通过一个(已经存在的) AppEngine应用程序启动数据流作业。DataFlow作业读取存储在DataStore中的GAE应用程序生成的数据，并将处理过的数据写入BigQuery。(MoreExecutors.java:89)at com.google.cloud.dataflow</e
浏览 8提问于2016-03-21得票数 1
回答已采纳
Q1:当我们使用下面的命令创建bigquery表时，数据驻留在同一个云存储中？source_format=CSV 'market.cust$20170101' \Q2:假设我的数据主管是gs://sp2040/raw/cards/cust/为客户文件表</
浏览 3提问于2017-10-05得票数 0
回答已采纳
我正在提交一个数据流作业，该作业从BigQuery数据集和表中读取并写入。Dataflow作业似乎工作正常。在执行Dataflow作业期间，Dataflow UI告诉我，我可以通过使用BigQuery工具运行命令来检查bq导出作业的状态。当我运行该命令时，我会收到一条消息，表示我无权查看该状态。BigQuery error in show operation: Access Denied
浏览 1提问于2017-04-25得票数 0
回答已采纳
1回答
然后我就把它上传到google存储上了。我已经创建了一个模型和版本在人工智能平台上使用相同的模型。它正在为在线预测工作。现在，我希望执行批处理预测，并将数据存储到大查询中，比如每次执行预测时它都会更新大查询表。
有人能建议我怎么做吗？
浏览 1提问于2019-07-15得票数 0
回答已采纳
Am使用SQL2.0/Apache作为框架，从DataFlow读取数据并写入BigQuery数据库。希望从BigQuery读取架构定义，然后在该定义中创建等效表。什么是Java来获得BigQuery模式定义？谢谢-ravi
浏览 3提问于2017-09-04得票数 2
回答已采纳
我正在使用Dataflow将数据写入BigQuery。当卷变大并且过了一段时间后，我从Dataflow获得了这个错误： metadata: { projectId: "[...]"下面是我的用法的一些上下文：
我正在阅读大约18
浏览 3提问于2016-08-19得票数 1
回答已采纳
我们有一个巨大的文件，并且数据流在输入上进行缩放，以很好地分解文件。然而，在那之后，它流经许多系统，microservice1到数据连接器，将相关数据抓取到ML，最后到最终的微服务。我想知道dataflow是否擅长并行摄取和读取大型文件，它是否擅长在一群节点(而不是一个会成为瓶颈的节点)上接收各种输入。有没有办法让200个节点写入google云存储中同一文件的200个分区，使其全部为1个文件？编辑2： 我看到有一个流式发布/
浏览 31提问于2021-04-16得票数 0
回答已采纳
我正在尝试在GCP控制台中创建一个从Pub到BigQuery的数据流。但是我得到了这个错误(数据流文件夹有BTW)：
Path "gs:/
浏览 0提问于2018-08-10得票数 1
回答已采纳
1回答
我正在Dataflow 2.x中创建一个管道，它接收来自Pubsub队列的流输入。输入的每一条消息都需要通过来自Google BigQuery的非常大的数据集流，并在写入数据库之前将所有相关值(基于键)附加到该数据集中。问题在于，来自BigQuery的映射数据集非常大--任何将其用作侧输入的尝试都会失败，因为数据流运行程序会抛出错误"java.lang.
浏览 4提问于2017-11-27得票数 12
我正在将数据从谷歌数据流推送到谷歌BigQuery。我有一个包含数据的TableRow对象。TableRow中的某一列包含字符串数组。com.google.cloud.dataflow.sdk.util.DoFnRunnerBase.finishBundle(DoFnRunnerBase.java:162)
c
浏览 14提问于2017-06-03得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号