根据 re: making a custom Sink to dynamically Schemas in Dataflow，我想知道Patch操作是否在BigQueryIO应用程序接口中的某个地方公开这是动态更新模式的关键部分。我们正在以向后兼容的方式合并模式。
浏览 0提问于2016-08-12得票数 0
回答已采纳
1回答
我试图使用Apache在BigQuery中查询一个视图。java.lang.RuntimeException: java.io.IOException: Unable to get table: testat org.apache.beam.sdk.io.gcp.<e
浏览 2提问于2020-08-12得票数 2
回答已采纳
使用DirectPipelineRunner，我想在本地运行我的流水线，以便进行调试。我正在使用带有Java 8的SDK 1.9.0。我的流水线从BigQuery读取一个表，转换一些字段，然后写回BigQuery。
在GCP上运行，即使用DataflowPipelineRunner运行器工作得非常好。43740 [main] INFO com.google.cloud.dataflow.sdk.util.BigQueryServic
浏览 25提问于2017-01-20得票数 0
我正在使用pubsub中的“”特性，通过数据流将一个常规的JSON传递给bigquery。
但是，它工作了一秒钟，这意味着一些条目可以正确地传递到bigquery。_comments”、“消息”：“没有这样的字段”、“原因”：“无效”}，“索引”：0}] org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.flushRows(StreamingWriteFn.java:131) o
浏览 1提问于2018-03-27得票数 1
回答已采纳
我在Google Dataflow中运行了一个Apache beam流水线。它从Kafka中读取数据并将其流式插入到Bigquery。但在bigquery流插入步骤中，它抛出了大量警告-at io.grpc.internal.ManagedChannelOrphanWrapper(BatchedStreamingWrite.java</
浏览 7提问于2021-06-01得票数 5
目的是使用TEXTIO读取JSON文件，进行会话并将其加载到BigQuery中。根据这种结构，我必须在GCS中创建一个临时目录，然后使用该目录将其加载到BigQuery中。因此，现在当我在本地运行管道时，它会将一个临时的JSON换行符分隔文件转储到GCS中。然后SDK提供了以下内容：INFO [main] (
浏览 0提问于2016-12-31得票数 0
回答已采纳
我定义了一个包装com.google.api.services.bigquery.model.TableRow类的类，并将其定义为内部成员 java
浏览 2提问于2015-10-28得票数 4
我试图通过一个(已经存在的) AppEngine应用程序启动数据流作业。DataFlow作业读取存储在DataStore中的GAE应用程序生成的数据，并将处理过的数据写入BigQuery。(BigQueryIO.java:886)
at com.google.cloud.dataflow.sdk.io.BigQueryIO$Write$Bound.apply(BigQueryIO.java:327)
浏览 8提问于2016-03-21得票数 1
回答已采纳
我正在将数据从谷歌数据流推送到谷歌BigQuery。我有一个包含数据的TableRow对象。TableRow中的某一列包含字符串数组。com.google.cloud.dataflow.sdk.util.DoFnRunnerBase.wrapUserCodeException(DoFnRunnerBase.java:369)
co
浏览 14提问于2017-06-03得票数 0
回答已采纳
我正在尝试运行一个非常简单的数据流作业，只需要在BigQuery中获取一些数据，对其进行一些处理，然后将其放入一个新的bigquery表中 at com.google.cloud.dataflow.sdk.io.BigQueryIO$Read$Bound.apply(BigQueryIO.javaco
浏览 11提问于2016-08-30得票数 1
回答已采纳
我在google云平台(GCP)中运行我的Google数据流工作。我可以访问那个google，我可以将我的jar文件上传到那个URI中，并且我可以看到一些临时文件用于我的本地工作。) at org.apache.beam.sdk<
浏览 1提问于2019-08-10得票数 5
回答已采纳
我有一个数据流作业，包括ReadSource、ParDo、加窗、插入(BigQuery中的日期分区表)。它基本上：
写入到BigQuery，使用窗口表和“dataset$date分区”语法指定表和分区。(BigQu
浏览 5提问于2016-09-28得票数 0
回答已采纳
我已经升级到新的谷歌数据流1.6版，当我在本地机器上测试时，我在管道的末尾得到了一个java.lang.IllegalStateException。我在1.5.1版本中没有这个问题。这不仅仅发生在实时环境中，只发生在本地。这是新版本的bug吗？有必要对我的代码进行更改以避免这些错误吗？at com.google.cloud.data
浏览 0提问于2016-06-14得票数 2
我正在使用Dataflow将数据写入BigQuery。(BigQueryIO.java:2113) }看起来我正在耗尽中定义的线程池。/s(大约130 my /s的网络输入给我的<
浏览 3提问于2016-08-19得票数 1
回答已采纳
我已经设置了一个GCloud数据流管道，它使用来自Pub/Sub订阅的消息，将它们转换为表行，并将这些行写入相应的BigQuery表。但是，我注意到，如果在数据流作业仍在运行时手动删除BigQuery中新创建的表，则Dataflow将被卡住，不会重新创建该表。(BigQueryServicesImpl.java:881) at
org.apache.beam.sdk.io.gcp.bigquery.Streaming
浏览 1提问于2020-03-21得票数 0
回答已采纳
我试图使用JDBC到BigQuery Dataflow 将数据从Postgres数据库复制到BigQuery。( org/apache.beam.sdk.io.gcp.bigquery/BigQueryHelpers.java:153 )
at org.apache.beam.sdk.io.gcp.bigquery.WriteTables$WriteTablesDoFn.finishBundle ( org/apache.
浏览 11提问于2022-11-19得票数 2
回答已采纳
我想在数据流中使用运行一个简单的查询，但我找不到启用此选项的位置。我该怎么做呢？DataflowPipelineRunner.BatchBigQueryIOWrite/DataflowPipelineRunner.BatchBigQueryIONativeWrite failed., (7f29f1d9435d27bc): BigQuery
浏览 62提问于2016-07-20得票数 6
回答已采纳
我正在通过Cloud服务使用ApacheBeam2.2SDK运行一个批处理管道。有751个文本文件，我使用TextIO.readAll()转换解析、反序列化和写入BigQuery中的日期分区表。下面的堆栈跟踪使我的管道失败：at org.apache.beam.sdk.io.gcp.bigquery.WriteB
浏览 1提问于2018-01-16得票数 1
回答已采纳
1回答
我们在数据流中创建了一个非常简单的作业。它定期从BigQuery读取并存储到RedisCluster中。管道代码如下所示。(FileSystems.java:166) atorg.apache.beam.sdk.io.FileBasedSource.createReader (FileBasedSourc
浏览 1提问于2018-11-20得票数 3
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
