这些流进bigquery是没有问题的。 | 'Load p1 to BIGQUERYbeam.io.BigQueryDisposition.WRITE_TRUNCATE,
create_disposition=beam.io.BigQu
浏览 16提问于2020-11-13得票数 0
我想从BigQuery中读取数据并将其发布到Pubsub。为此，我想使用Apache光束，并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。因此，希望使用BigQuery的Storage Read API来减少这一时间，该API支持使用流读取数据。尽管Beam支持使用存储API，但我找不到设置最大流数的文档。谁能帮助我如何设置从BigQuery读取数据的Apache光束管道中的流的数量。 参考文献：BQ Storage API Overview，Ap
浏览 25提问于2021-05-02得票数 0
在GCP BigQuery中，可以创建表的视图。文档在这里：https://cloud.google.com/bigquery/docs/views。我想知道是否有可能通过Apache光束在BigQuery中创建一个视图，如果可以，它不在文档https://beam.apache.org/documentation/io/built-in/google-bigquery<
浏览 9提问于2021-08-20得票数 0
1回答
Apache依赖关系错误
、、、、
我正在尝试使用来自Java的Apache作为数据管道。我编写了一个简单的类，它来自Google并深入到，但我无法让它为我的生命构建。class file for org.apache.beam.sdk.options.GcsOptions not found <group
浏览 0提问于2018-02-12得票数 2
回答已采纳
1回答
options.getInputSubscription1())) ParDo.of(new ReadRawdataFromBiqueryTable())); 但是，当我们在此管道中附加BigQuery读取时，由于BigQuery读取速度较慢，因为我们在ParDo中执行此操作，似乎在P
浏览 12提问于2020-03-25得票数 1
我有一个复杂对象的无限流，我想将其加载到BigQuery中。这些对象的结构表示我在BigQuery中的目标表的模式。问题是，由于POJO中有很多嵌套的字段，将其转换为TableSchema对象是一个，而我正在寻找一种快速/自动的方法来将我的POJO转换为TableSchema对象，同时写入BigQuery。我不是很熟悉Apache光束API，任何帮助我都将不胜感激。
浏览 33提问于2019-08-21得票数 0
2回答
我有一个运行在从BigQuery读取数据的谷歌云DataFlow上的Beam作业。当我运行作业时，作业需要几分钟时间才能开始从(微型)表中读取数据。结果是数据流作业发送的是以批处理模式运行而不是以交互模式运行的BigQuery作业。如何将其切换为在Apache光束中立即运行？我在API中找不到更改优先级的方法。
浏览 2提问于2017-05-26得票数 1
1回答
我有一个DML指令，每小时在Bigquery中运行一次，类似于下面的指令： MERGE dataset.DetailedInventory T "DEPARTMENT - RUN MERGE WITH INSERT我想知道这是否是使用Java执行B
浏览 14提问于2020-05-01得票数 0
我的项目运行的是Python2.7(是的，我知道...)Google Dataflow上的Apache Beam 2.19。我们连接到BigQuery的方式与Apache光束教程中指定的方式相同：
p | 'Get data from BigQuery' >> beam.io.Read(beam.io.BigQuerySource
浏览 0提问于2020-03-19得票数 0
对于BigQuery表中的每个新用户条目，我必须向该用户发送一封电子邮件。我使用Apache Beam从BQ获取这些条目，并且对于每个条目，我向RESTful Web服务发送一个请求，以发送电子邮件并等待响应。问题是，当请求的数量变得太大时(比如一百万)，来自web服务的响应会非常晚，并且Apache光束作业处于挂起状态。有没有一种方法可以在一分钟后停止等待响应，并在Apache Beam中继续处理其他请求？或者，让web服务在一分钟后返回超时响应会更好吗？我认为后者是有意义的，但我只是好奇，考虑到在<e
浏览 14提问于2019-03-01得票数 0
我的用例很简单:从发布/订阅订阅中读取事件日志，解析它们并保存到BigQuery中。因为预计事件的数量将显著增加，并且我使用的是无限数据源，所以我决定在BigQuery中配置分片:根据事件数据中的时间戳将事件存储到日常表中(在Beam文档中称为“事件时间”)。我之所以问这个问题，是因为我发现的大多数BigQuery分片示例都假定使用了窗口配置。
浏览 1提问于2017-10-05得票数 1
我想读取一个GZIP压缩的帕奎特文件从GCS到BigQuery使用Python SDK for Apache光束。但是，apache_beam.io.parquetio.ReadFromParquet方法似乎不支持从压缩文件中读取。根据源代码，压缩类型被硬编码为UNCOMPRESSED。
浏览 2提问于2019-11-25得票数 0
1回答
这些表存储在云BigQuery上。我们为这些表创建自己的查询。是否可以使用Google生成xml文件？
浏览 1提问于2017-11-03得票数 0
回答已采纳
1回答
BigQuery事件计算
、、、
从我的角度来看，循环是必要的，所以要么是存储过程(这是不可能的)，要么是带有数据流的apache beam来计算数据。
浏览 11提问于2021-03-04得票数 0
1回答
我正在使用Apache建立一个由两个主要步骤组成的管道：
myPCollection = (org.apache.beam.sdk.values.PCollectionParDo.of(new MyTransformClassName.MyTransformFn()));
.apply("Load BigQuery
浏览 0提问于2018-12-07得票数 1
回答已采纳
我不能做这么多，因为我不能在模板中选择光束版本。$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:803) at org.apache.beam.sdk.io.gcp.bigquery.Streami
浏览 0提问于2019-05-24得票数 0
回答已采纳
1回答
我想要做的就是打印每个窗口的计数，以及窗口的边界到BigQuery。在运行管道时，我一直收到以下错误： .apply("BigQueryFormat", ParDo.of(new FormatCountsFn()));
// Writing to BigQueryBigQueryIO
浏览 1提问于2018-11-26得票数 0
回答已采纳
当一个文件被写入云存储时，我希望它触发一个云函数，该函数执行一个DataFlow模板来转换文件内容并将结果写入BigQuery。然后我想..。
浏览 2提问于2020-02-05得票数 2
在使用多个数据库表、插件并将数据加载到bigquery之后，我希望对一个数据管道中的每个表进行增量加载。
我想知道是否可以在多个数据库表插件上使用UPSERT。我怎样才能克服任何建议？
浏览 4提问于2022-06-20得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
智聆口语评测
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号