我想从BigQuery中读取数据并将其发布到Pubsub。为此，我想使用Apache光束，并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。因此，希望使用BigQuery的Storage Read API来减少这一时间，该API支持使用流读取数据。尽管Beam支持使用存储API，但我找不到设置最大流数的文档。谁能帮助我如何设置从BigQuery读取数据的Apache光束管道中的流的数量。 参考文献：BQ Storage A
浏览 25提问于2021-05-02得票数 0
1回答
我正在编写一个简单的apache光束流水线，从pubsub主题获取输入并将其存储到bigquery中。几个小时以来，我认为我甚至无法阅读一条消息，因为我只是试图将输入记录到控制台：
events = p | 'Read PubSub' >> ReadFromPubSub(subscription=SUBSCRIPTION
浏览 24提问于2019-07-06得票数 1
回答已采纳
1回答
是否可以从BigQuery表中删除数据，同时将数据从Apache光束管道加载到该表中。我们的用例是，我们需要根据时间戳字段( Dataflow从Pubsub主题拉取消息的时间)从表中删除3天前的数据。谢谢。
浏览 1提问于2018-05-07得票数 2
随着2022年7月新的直接PubSub到BigQuery的发布，我们现在可以创建直接从PubSub获得数据的BigQuery订阅。
文档似乎没有指定，所以忽略这一点。使用Avro逻辑字段时，创建订阅时遇到的错误类似于Inc
浏览 5提问于2022-08-02得票数 3
回答已采纳
是否有任何Python模板/脚本(现有的或路线图)供数据流/光束从PubSub读取和写入BigQuery？根据GCP文档，这里只有一个Java模板..。 谢谢！
浏览 88提问于2021-02-21得票数 1
回答已采纳
我观察到，当google-cloud-pubsub (在我的例子中是0.21.1-beta)是一个依赖项时，Apache光束抛出了Jetty ALPN/NPN has not been properly有没有不涉及删除google-cloud-pubsub的解决方法。
Apache梁版本- 2.1.1
浏览 0提问于2017-11-08得票数 0
在GCP BigQuery中，可以创建表的视图。文档在这里：https://cloud.google.com/bigquery/docs/views。我想知道是否有可能通过Apache光束在BigQuery中创建一个视图，如果可以，它不在文档https://beam.apache.org/documentation/io/built-in/go
浏览 9提问于2021-08-20得票数 0
我有一个具有以下模式的BigQuery表：req_url STRINGNULLABLE syntax = "proto3";
string req_url = 1;int64 requested_at = 2;当我尝试使用“写入到PubSub”传
浏览 3提问于2022-11-12得票数 0
回答已采纳
在我的例子中，我有一些定期发布到云发布/订阅的内容，然后Dataflow将其写入BigQuery。通过的消息量数以千计，所以我的发布者客户端有1000条消息的批处理设置，1mb和10秒的延迟。问题是，在批处理中发布时，Dataflow SQL是接收批处理中的所有消息并将其一次性写入BigQuery，还是一次写入一条消息？ 有没有一个比另一个更好的好处呢？ 如果需要任何其他细节，请评论。
浏览 35提问于2021-11-23得票数 0
回答已采纳
我已经配置了一个本地(java)环境，用于按照官方的执行Apache管道。示例项目(WordCount)工作得很好，但现在我想要更改它，从PubSub主题获取输入数据，并将输出放到BigQuery中。我已经创建了我的PubSub主题和BigQuery数据集，但我的问题是:如何为本地运行的管道配置远程输入(pubsub )和输出(BigQuery) (用于调试目的)？
浏览 0提问于2019-04-30得票数 0
回答已采纳
2回答
我有一个运行在从BigQuery读取数据的谷歌云DataFlow上的Beam作业。当我运行作业时，作业需要几分钟时间才能开始从(微型)表中读取数据。结果是数据流作业发送的是以批处理模式运行而不是以交互模式运行的BigQuery作业。如何将其切换为在Apache光束中立即运行？我在API中找不到更改优先级的方法。
浏览 2提问于2017-05-26得票数 1
我正在尝试设置一个数据流作业，以便将数据从PubSub主题写入BigQuery表。我单击了PubSub主题控制台中的"Export“，并执行了以下详细步骤。(StreamingWriteFn.java:143)
at app//org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.finishBundle我的BigQuery表以空表的形式存在，PubSub需要数据的模式</em
浏览 3提问于2020-11-05得票数 1
目前，我有两个阿帕奇光束数据流和PubSub之间。第一个数据流从源文件读取文件名，并将这些文件名推送到PubSub主题。另一个数据流读取并处理它们。但是，我的用例是在源代码中创建实际文件后至少1小时开始处理/读取这些文件。所以我有两个选择：2)延迟处理检索到的文件
就像上面提到的，我正在寻找最好的解决方案。我不确定是否应该在Apache光束中使用芭乐重试机制？还有其他想法吗？
浏览 0提问于2018-12-21得票数 0
我有一个复杂对象的无限流，我想将其加载到BigQuery中。这些对象的结构表示我在BigQuery中的目标表的模式。问题是，由于POJO中有很多嵌套的字段，将其转换为TableSchema对象是一个，而我正在寻找一种快速/自动的方法来将我的POJO转换为TableSchema对象，同时写入BigQuery。我不是很熟悉Apache光束API，任何帮助我都将不胜感激。
浏览 33提问于2019-08-21得票数 0
在将数据写入其他文件之前，我将使用beam Python SDK从PubSub读取数据。因为我收到的数据总是相同的格式，所以我尝试使用特性来解析我从PubSub收到的数据。接收到的数据总是一个字典name: "my_name", value: 42，所以我的管道看起来像这样：from apache_beam.io自然会获得字节:我只需将数据解析到字典中，然后它似乎就可以工作了。| beam.Map(l
浏览 0提问于2021-07-22得票数 0
1回答
我们将使用Apache光束API来读取或写入主题。所以，如果生成了任何异常，我们该如何记录它？我可以将我的数据发送到其他主题吗？PubsubIO.writeMessages() PubsubIO.readMessages()
是否可以写入此消息并添加调试日志消息(“将json消息发布到pubsub主题”)；PubsubIO.writeMessages().to(pipelineOptions.getPubsubEnpEventTopic())；DoFn =log.debug PubsubIO.Write log.debug
浏览 0提问于2019-11-06得票数 2
3回答
我有一个从PubSub主题读取事件数据的数据流管道。当收到消息时，我执行一个转换步骤，将事件数据与我想要的BigQuery模式相匹配。但是，如果创建的输入不符合模式，则会遇到问题。显然，它被无限重试着写到BigQuery：
Count: 76 RuntimeError: Could not successfully insert rows to BigQuery table目前，我正在进行大量手动检查，以确保输入是否符合模式，但是，在没有考虑<em
浏览 4提问于2018-05-08得票数 4
1回答
给定Pub/Sub主题，BigQuery使用语法支持流数据到表。Step1a: INT64c: INT64然后使用该命令创建数据流流作业，以便将每条消息流流到目标BigQuer
浏览 2提问于2020-10-30得票数 0
回答已采纳
1回答
Apache依赖关系错误
、、、、
我正在尝试使用来自Java的Apache作为数据管道。我编写了一个简单的类，它来自Google并深入到，但我无法让它为我的生命构建。dependency> <artifactId>google-api-services-bigquery</artifactId>
<version>${bigquery</em
浏览 0提问于2018-02-12得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号