我有一个从BigQuery表中读取数据的数据流管道。但是，在读取数据时，除了使用或方法读取所有记录之外，没有其他选择。我想知道，在使用这些方法时，是否有提供列状投影的选项(类似于HBaseIO Scan 过滤器)。
浏览 13提问于2018-02-22得票数 2
回答已采纳
作为数据流/Apache光束的一部分，我想先从一个源读取，然后写入一个源，然后再从一个源读取，然后再按这个顺序写入。如何确保下面R->W->R->W的顺序？(在下面的示例中，考虑BIGQUERYVIEWB是由TESTDATASET1.TABLE2和其他几个表形成的大查询视图)PCollection<TableRow> tr = pipeline.apply(BigQueryIO.readTableRows().fromQuery("S
浏览 3提问于2018-10-03得票数 0
我正在使用Apache光束将一些对象写入google Big Query。我使用的代码如下 .apply(BigQueryIO.
浏览 0提问于2018-10-31得票数 0
1回答
我检查了官方的Apache光束参考和Go手册，但我不明白原因。你能告诉我一个具体的解决方案吗？/beam/sdks/go/pkg/beam" "github.com/apache/beam/sdks/go
浏览 10提问于2021-06-17得票数 0
1回答
我正在使用Apache光束(Java SDK)使用批加载方法(文件加载)在BigQuery中插入记录。我想检索那些在插入过程中失败的记录。 .apply( BigQueryIO<KV<DataLake, TableRowSpecs>
浏览 6提问于2021-07-18得票数 1
我想在光束中每小时从BigQuery读取数据，并编写以下代码引用， GenerateSequence.fromDuration.standardHours(1))) .apply("ReadRow from BQ",
浏览 5提问于2020-09-12得票数 0
我们有一个使用Apache光束的数据流构建，并部署在GCP数据流基础设施中。代码示例： pipeline.apply( BigQueryIO.readTableRows
浏览 10提问于2021-01-28得票数 0
回答已采纳
我注意到的一件事是，BigQueryIO.read().fromQuery()的性能比BigQueryIO.read().from()在Apache中的性能要慢得多。这一切为什么要发生？
浏览 1提问于2018-04-18得票数 7
回答已采纳
1回答
正因为如此，我们正在考虑将DataFlow与Apache Beam一起使用。我正在尝试在Apache光束管道中执行这条MERGE语句，类似于： pipeline.apply( BigQueryIO.readTableRows().fromQuery(MERGE_DEPARTMENT_I_U).usingStandardSql
浏览 14提问于2020-05-01得票数 0
我用的是2.15光束版本。PCollection<KV<String, DTO.class>> gbqDtoDetails = pipeline .of(StringUtf8Coder.of(), SerializableCoder.of(DTO.class)));
Apache时间戳2020-07-3
浏览 2提问于2020-07-31得票数 1
1回答
我正在使用Apache建立一个由两个主要步骤组成的管道：
myPCollection = (org.apache.beam.sdk.values.PCollectionMyTransformClassName.MyTransformFn()));
.apply("Load BigQuery data for PCollection",
BigQueryIO<
浏览 0提问于2018-12-07得票数 1
回答已采纳
上下文：我们试图使用数据流(Apache )将一些CSV格式数据加载到GCP BigQuery中。作为其中的一部分，这是第一次(对于每个表)通过BigQueryIO API创建烧烤表。dataValue.getKey()))) .apply(BigQueryIO.writeTableRowsdataValue.getKey()))
.withCustomGcsT
浏览 0提问于2018-02-15得票数 1
为此，我想使用Apache光束，并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。因此，希望使用BigQuery的Storage Read API来减少这一时间，该API支持使用流读取数据。尽管Beam支持使用存储API，但我找不到设置最大流数的文档。谁能帮助我如何设置从BigQuery读取数据的Apache光束管道中的流的数量。 参考文献：BQ Storage API Overview，Apache Beam BQ I/O
浏览 25提问于2021-05-02得票数 0
1回答
比如说，在Dataflow/Apache程序中，我正在尝试读取数据呈指数增长的表。我想提高阅读的性能。BigQueryIO.Read.from("projectid:dataset.tablename")BigQueryIO.Read.fromQuery("SELECT A, B FROM [projectid
浏览 1提问于2019-01-29得票数 4
回答已采纳
对于python中的这项工作，它需要"Apache Beam“library.But Apache Beam库不工作。有人能帮我们吗？
浏览 0提问于2016-10-07得票数 0
1回答
;import org.apache.beam.sdk.io.gcp.bigquery.BigQueryIO;import org.apache.beam.sdk.options.PipelineOptionsFactory{
// Create the pipeline
浏览 13提问于2021-07-22得票数 0
使用顶点/火花流道将数据写入Apache波束中的表中。但是，在运行程序时遇到异常时，使用的是顶级运行程序。new TableSchema().setFields(fields);
PCollection<TableRow> data= pipeline.apply("ReadLines", TextIO.readcom.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Ob
浏览 4提问于2017-12-20得票数 0
在ApacheBeam中，一旦有了一些PCollection输入，就可以完成但是，BigQueryIO.read()只能应用于管道实例，所以我的问题是，如何使BigQueryIO.read()等待其他DoFn完成或至少生成一个输出，是在不同的管道中放置BigQueryIO，还是在同一个管道内执行？
浏览 3提问于2022-08-09得票数 1
回答已采纳
我正在尝试写一个BigTableAvroFn函数，它读取bigtable行，并使用apache光束将其转换为Avro通用记录.How我是否可以将行数据转换为一般记录？pipeline.apply("Read from Bigtable", read)@ProcessElement
public void processElement(ProcessCon
浏览 0提问于2019-01-08得票数 2
at org.apache.beam.sdk.io.Read$Bounded.<init>(Read.java:94) at org.apache.beam.sdk.io.Read.from(Read.java:48)
at org.apache.be
浏览 2提问于2017-09-05得票数 0
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号