我的apache insert应用程序收到一条JSON数组中的消息，但将每行插入到一个BigQuery表中。我如何在ApacheBeam中支持这个用例？我可以拆分每一行并将其逐个插入到表中吗？JSON消息示例： {"id": 1, "name": "post1"
浏览 10提问于2019-03-25得票数 0
回答已采纳
我已经使用apache beam (Dataflow Runner)编写了mongodb到bigquery数据管道的python代码。Mongodb有两列(id和name)的类似mysql的简单表，没有复杂的structure.My代码，如下所示。######################################### from apache</em
浏览 11提问于2021-01-15得票数 1
回答已采纳
我创建了一个google流作业，从PubSub读取并插入到BigQuery中。我使用JSON将STREAMING_INSERT数据插入到BiqQuery表中。我正面临插入问题，说明请求的大小超过了10 Mb的允许限制。数据流错误如下所示。根据我的理解，每个记录的大小是1-2Mb，根据我的理解，数据流作业将流数据插入到微批处理中，这导致了这一错误。org.a
浏览 6提问于2022-10-13得票数 0
回答已采纳
1回答
如何在apache beam中解析apache beam数据并存储在bigquery表中？例如: JSON数据
[{ "name":"stack"},{"id":"100"}].如何解析JSON数据，并转换为PCollection K，V，将存储在烧烤表？感谢你的帮助！！
浏览 0提问于2018-05-11得票数 0
我在Google Dataflow中运行了一个Apache beam流水线。它从Kafka中读取数据并将其流式插入到Bigquery。但在bigquery流插入步骤中，它抛出了大量警告-at io.grpc.internal.ManagedChannelOrphanWrap
浏览 7提问于2021-06-01得票数 5
我正在尝试将JSON事件数据从加载到BigQuery，并且希望以字符串的形式加载所有数据，然后再进行转换，因为对于某些消息，它们看起来如下所示：{"id":234}bq $LOC load \ --ignore_unknown_values\
--
浏览 2提问于2020-11-24得票数 3
我在试着2.每15分钟使用文件加载将事件从Cloud /Sub加载到BigQuery，以节省流插入的成本。3.目标将根据JSON事件中的"user_id“和"campaign_id”字段而不同，"user_id“将是数据集名称，"campaign_id”将是表名。分区名称来自事件时间戳。4.所有表的架构保持不变。
我对Java和Beam很陌生
浏览 0提问于2018-04-17得票数 0
回答已采纳
是否有任何Python模板/脚本(现有的或路线图)供数据流/光束从PubSub读取和写入BigQuery？根据GCP文档，这里只有一个Java模板..。 谢谢！
浏览 88提问于2021-02-21得票数 1
回答已采纳
我一直在Python 2.7.16上使用2.13.0 SDK测试Apache Beam，以流模式从Google Pub/Sub订阅中提取简单消息，并写入Google Big Query表。as beamfrom apache_beam.io import ReadFromPubSub
from apache_beam.io(o
浏览 2提问于2019-07-24得票数 2
3列(mac、状态和日期时间)及其相应值的BigQuery表中 我的管道如下所示： # -*- coding: utf-8 -*-from google.cloud import error_reporting
from apache_beam.options.pipeline_optionsimport
浏览 21提问于2019-09-29得票数 1
回答已采纳
我正在使用pubsub中的“”特性，通过数据流将一个常规的JSON传递给bigquery。
但是，它工作了一秒钟，这意味着一些条目可以正确地传递到bigquery。_comments”、“消息”：“没有这样的字段”、“原因”：“无效”}，“索引”：0}] org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.flushRowsorg.apache.beam.sdk.
浏览 1提问于2018-03-27得票数 1
回答已采纳
我正在尝试将csv文件从我的google存储桶加载到bigquery。没有额外的游行，只是简单的装载操作。但失败了。下面是代码片段： PROJECT = 'emerald-990' client = bigquery.Client(project=PROJECT)
浏览 10提问于2020-01-23得票数 1
2回答
事实上，每天插入的数据大约是100 1KB，但是我们的收费大约是这一数字的10倍(~1TB)，因为BigQuery认为每一行都是最小的1KB，我们推送了许多小行。更改表的架构以使其更“水平”将是降低成本的解决方案，但不方便我们的管道设计方式。相反，我们希望利用这样一个事实:将数据从文件(POST请求)或加载到BigQuery是免费的，而且我们不需要立即访问这些数据。我们希望创建一个服务，将来自不同机器(特别是芹菜工人)的“缓冲区”行定期从文件加载到BigQuery。
第一个问题:是否已经有这样的服务？内
浏览 2提问于2016-10-13得票数 0
2回答
我想读取一个csv文件，并将其写入到BigQuery使用阿帕奇光束数据流。为此，我需要将数据以字典的形式呈现给BigQuery。如何使用apache beam转换数据以实现此目的？我的输入csv文件有两列，我想在BigQuery中创建一个后续的两列的表。我知道如何在BigQuery中创建数据，这很简单，我不知道的是如何将csv转换成字典。# Standard imports
import a
浏览 1提问于2016-12-16得票数 9
回答已采纳
我有一份数据流程工作要写给BigQuery。它适用于非嵌套模式，但是对于嵌套模式失败。这是我的数据流管道： p = beam.Pipeline(options=pipeline_options)
second = (first
| 'process' >
浏览 0提问于2018-02-12得票数 7
回答已采纳
我正在开发java代码，以便从GCS读取记录并插入到BQ表中，从成本和性能的角度来看，哪个BigqueryIO.write()或bigquery.insertAll()方法更好。
浏览 0提问于2019-03-05得票数 1
我试图使用数据流流处理将记录插入到BigQuery中。存储桶中更改的文件从PubSub读取，然后读取、转换并插入到BigQuery中。但是，我不明白为什么我会看到关于这些配额的消息，因为BigQuery的流插入配额是100万/秒。alt=json>: response: <{'vary': 'Origin, X-Origin, R
浏览 29提问于2020-02-25得票数 3
;import org.apache.beam.sdk.PipelineResult;import org.apache.beam.sdk.options.Description;
import org.apache.bea
浏览 3提问于2022-03-01得票数 0
回答已采纳
它接受XML并输出JSON，然后将其存储在Bigquery表中。早些时候，我使用beam管道将换行符分隔的JSON写入GCS bucket，并从该文件创建一个BQ表，而无需对其进行任何更改(使用bigquery控制台)。作业成功运行，数据导入到BQ中，没有任何问题。
现在我已经修改了管道，以便将输出的JSON行直接写入BQ表。我正在使用apache的bea
浏览 6提问于2019-11-13得票数 3
回答已采纳
我有一个数据流作业，它将单个文件拆分成x个记录(表)。这些流进bigquery是没有问题的。 | 'p1 Entities to JSON' >> beam.Mapcreate_disposition=beam.io.BigQueryDisposi
浏览 16提问于2020-11-13得票数 0
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
