1回答
从BigQuery读取和过滤数据，我有两种方法
在数据流(使用BigQuery (BigqueryIO.readTableRow.from(ValueProvider)中读取整个数据，然后根据最大数据这样的条件进行过滤通过只获取所需数据的查询在数据流中使用BigQuery读取NestedValueProvider要慢得多。因为如果我读取整个数据，而我的表处于附加模式，就会出现问
浏览 1提问于2018-08-08得票数 0
回答已采纳
我目前正在使用Dataflow在python中进行循环批处理。pipeline_options = PipelineOptions() | "doing stuff" >> beam.Map(do_some_stuff)
)
浏览 16提问于2019-10-22得票数 2
回答已采纳
我们有一个用Java编写的beam管道，我们运行在GCP数据流上。我们最近确定了将这些事件插入公共主题的顺序是重要的。我们可以在针对BigQuery发出的查询中使用order来确定正确的顺序，但是当数据插入公共主题时，我们对该顺序是否会被遵守表示怀疑。我们主要关注的是在这个代码中：
浏览 3提问于2022-03-01得票数 0
回答已采纳
我使用Dataflow读取JDBC表中的数据，并将结果加载到BigQuery表中。我希望在运行时传递一个参数“标志”，如果将标志设置为True，结果应该加载到BigQuery中的另一个表中。概括如下：
如果标记设置为True -从JDBC读取表A，则在BigQuery中写入表
浏览 11提问于2021-12-15得票数 -1
我在GCS中用GCS压缩了行分隔符的JSON文件。我想使用数据流加载它们，然后将其保存到BigQuery。你知道为什么会发生这种情况吗？我使用的是Apache Beam Java SDK 2.1.0版。我的代码如下所示：
static cla
浏览 0提问于2017-10-23得票数 0
在数据流中，我需要将开始日期和结束日期作为运行时参数传递，并查询bigquery以获取该日期范围，并将输出写入日期明智的文件夹。当我们使用ValueProvider时，getStartDate().get()方法将从运行时上下文中抛出java.lang.RuntimeException: Not。如果在getStartDate().get().isAccessible()为false时硬编码某些值，则将生成模板，但运行时参数没有反映在作业中。在创建模板时，它总是
浏览 3提问于2017-03-16得票数 2
回答已采纳
2回答
我正在使用谷歌数据流上的阿帕奇光束。 我的流水线从BigQuery读取数据，但它依赖于执行参数。我应该能够用一个点(经度，纬度)和几个点来运行管道。只有一点，解决方案很简单:我可以将查询设置为ValueProvider。我尝试在每个点上应用BigQuery read，并将结果合并到一个PCollection中，但我不知道如何将点传递到管道并动态构建它。
浏览 16提问于2019-01-27得票数 0
回答已采纳
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行目标:我的目标是使用Google提供的PubSubTOBQ.java类模板，并通过相应的Bigquery传递订阅列表，并创建每个表传递订阅的管道。因此，n-n，n个管道在一
浏览 0提问于2019-07-16得票数 0
我有一个apache管道，它接收一些信息，将其格式化为TableRows，然后写入BigQuery。直到数据流作业完成后，才会将行写入BigQuery。如果我有一个需要很长时间的数据流作业，我希望能够看到插入到BigQuery中的行，谁能给我指明正确的方向？
提前感谢
浏览 0提问于2018-06-08得票数 1
1回答
我正在运行一个批处理数据流作业，它从BigQuery表中读取所有行，将它们转换为JSON字符串，然后将字符串写入PubSub主题。此模板将以相同或不同的参数重用，并且应该始终在BigQuery中发布已找到的行，而不管它是否与最后一个作业相同。我遇到的问题是，在每次作业运行之后，我必须再次上传模板，否则下一个作业将在没有从BigQuery读取任何内容的情况下成功，即使具有与第一个成功作业相同的参数。我尝试使用<
浏览 4提问于2020-11-30得票数 0
我正在使用Bigquery，Tables通过传递一个初始化的tableRequest作为参数来请求从DoFn内部获取bigquery表的模式，如下所示 Bigquery.Tables tableRequest;
浏览 10提问于2017-08-29得票数 0
回答已采纳
我想将BigQuery表名作为运行时参数传递给我的数据流模板，就像这样： class UserOptions(PipelineOptions): def _add_argparse_argswrite_disposition=beam.io.BigQueryDisposition.WRITE_TRUNCATE)))
p.run().wait_until_finish() 根据这些answer1和answer2的建议，我在命令行中添加了--experimen
浏览 12提问于2020-12-16得票数 0
Apache Beam 2.9.0 我已经建立了一个从BigQuery中提取数据并对其执行一系列转换的管道。这些选项具有使用ValueProvider附加的开始日期 ValueProvider<String> getStartTime();
void setStartTime(ValueProvider<String> startTime); 然后，我使用BigQueryIO拉取数据(为了明确说明发生了什么，稍微修改了一下内容
浏览 13提问于2019-02-24得票数 1
我正在为apache使用Python。我试图通过一个BigQuery从ValueProvider读取数据(因为声明这些数据是允许的)。def run(bq_source_table: ValueProvider, (
浏览 1提问于2021-05-04得票数 0
目前，我正在研究GCP文档，试图找出从BigQuery (使用Python)到PubSub的最佳/最快的摄取数据的方法。到目前为止，我所做的(以简化的方式)是：MAX_BATCH_MESSAGES = 20 publ
浏览 19提问于2022-07-05得票数 0
请社区总结Python在Google DataFlow模板上的局限性
如果我错了，请纠正我。
浏览 0提问于2020-08-19得票数 0
回答已采纳
上下文：我们试图使用数据流(Apache )将一些CSV格式数据加载到GCP BigQuery中。作为其中的一部分，这是第一次(对于每个表)通过BigQueryIO API创建烧烤表。客户需求之一是GCP上的数据需要使用客户提供的/托管加密密钥进行加密。
问题陈述:在创建表时，无法通过API指定“自定义加密密钥”。GCP文档详细介绍了如何通过GCP烧烤控制台指定自定义加密密钥，但在DataFlow代码中找不到任何用于通过AP
浏览 0提问于2018-02-15得票数 1
getSideInputs(bqDataView)).withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER)); at org.apache.beam.sdk.options.ValueProvider$NestedValueProvider.get(ValueProvider.java:131)
at org.apache.beam.sdk.options.ValueProvider$Neste
浏览 4提问于2017-07-24得票数 0
回答已采纳
我想使用java SDK 2读取数据流中的Avro文件。ValueProvider <String> getInputFile();我正在尝试使用以下代码读取此输入文件Ru
浏览 3提问于2017-11-16得票数 0
正在尝试为数据流作业创建模板。到目前为止，无论在创建模板时使用了什么参数，但当我尝试为变量传递不同的值时，它不会选择运行时值。如果需要任何额外的细节，将提供相同的。
浏览 0提问于2018-09-06得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
