我只有一个主题是在生产项目中创建的。我想在dev环境中运行我的数据流作业，该环境需要使用生产pubsub主题。当我在dev项目中提交我的数据流作业时，它不工作，并且总是显示在数据流UI中运行，但没有从pubsub读取任何元素。如果我提交到生产项目中，它可以完美地工作。PCollection<String> S
浏览 9提问于2017-12-04得票数 1
我正在开发一个物联网应用程序，我需要从PubSub主题中读取流数据。我想使用Google Cloud Dataflow SDK读取这些数据。我使用的是Java 1.8
我正在使用Google Cloud Platform的试用版。当我使用PubSubIO.Read方法读取流数据时，我在日志文件中收到错误，表明我的项目没有足够的CPU配额来运行应用程序。所以我想用Google <em
浏览 2提问于2016-12-23得票数 0
我想使用com.google.cloud.dataflow.examples.PubsubFileInjector将GCS文件转换为pubsub事件。但是，当我提交管道时，如下所示： --runner=DataflowPipelineRunner \
--project="pro
浏览 2提问于2015-04-14得票数 0
我使用Cloud、PubSub & Bigquery读取JSON消息，使用TableRowJsonCoder将JSON转换为表，然后将它们写入Bigquery。
我的问题是一致性，以下代码有时有效。我确信我把消息正确地发布到Pubsub主题。我也确信Dataflow正在阅读每一条信息。我已经使用gcloud命令行工具对此进行了测试。gcloud beta pubsub subscriptions pull --auto-ack SUBSCRIPTION-NAME
浏览 1提问于2017-01-23得票数 1
回答已采纳
1回答
org.apache.beam" % "beam-runners-google-cloud-dataflow-java" % "2.19.0", "com.google.<em
浏览 80提问于2020-02-16得票数 2
回答已采纳
我有一个将数据写入Google Cloud pubsub的应用程序，根据pubsub的文档，由于重试机制而导致的重复是偶尔会发生的事情。还有失序消息的问题，这在pubsub中也没有保证。此外，根据文档，可以使用Google Cloud Dataflow对这些消息进行重复数据删除。如何使用pubsub (或任何其他系统)按顺序传输消息？
是否可以使用云数据流从pubsub主题
浏览 46提问于2019-03-12得票数 2
(ReadOperation.java:193) com.google.cloud.dataflow.worker.StreamingDataflowWorker$6.run(StreamingDataflowWorker.java(ReadOperation.
浏览 0提问于2018-09-05得票数 3
(ClientContext.java:157) at com.google.cloud.pubsub.v1.Publisher.<init>(Publisher.java:171)
at com.google</em
浏览 8提问于2019-07-28得票数 0
我知道当使用Datastore API时，我可以通过将属性保存为来保存超过1500字节的字符串。但是，在示例或类文档中没有其他方法可以表明支持类型。可能是使用该api保存如此长的字符串的一种方法，以便将其读取为。完整的错误消息如下：
java.lang.RuntimeException: com.google.cloud.dataflow.sdk.util.UserCodeException: java.lang.RuntimeExc
浏览 3提问于2016-12-15得票数 2
使用Google平台服务开发maven春季引导应用程序，其中包括BigQuery、PubSub和Dataflow/Beam。dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-runners-google-cloud-dataflow-java.Topic
浏览 0提问于2018-01-31得票数 1
回答已采纳
我正在做一个Google Dataflow项目，以下是该项目的要求： absl-py==0.7.1astor==0.7.1backports.weakref==0.15.4google-api-core==1.10.0google-auth==1.6.3<
浏览 9提问于2019-05-01得票数 0
回答已采纳
我正在使用带有Java 8的SDK 1.9.0。19:45:05,470 21866 [main] INFO com.google.cloud.dataflow.sdk.runners.DirectPipelineRunner(BigQueryIO.java:1331)
at c
浏览 25提问于2017-01-20得票数 0
(ReadOperation.java:217)at com.google.cloud.dataflow.sdk.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java)
浏览 1提问于2017-01-10得票数 0
1回答
我正在Dataflow 2.x中创建一个管道，它接收来自Pubsub队列的流输入。2)键值对映射
在这个策略中，我在管道的第一部分读取了BigQuery数据和Pubsub数据，然后通过ParDo转换运行每个数据，这些转换将PCollections中的每个值更改为KeyValue对com.google.cloud.dataflow.worker.repackaged.com.google.protobuf.ByteString.concat(Byte
浏览 4提问于2017-11-27得票数 12
(PubSubChannelProvisioner.java:81)
The calling method's class, com.google.cloud.spring.stream.binder.pubsub</e
浏览 2提问于2022-08-21得票数 2
回答已采纳
我正在使用Google Cloud Dataflow创建数据处理应用程序-它将把数据从Pubsub流式传输到Bigquery。
我对基础设施有点迷惑。，我会失败，并返回"java.lang.IllegalStateException: no evaluator for PubsubIO.Read“(我并不感到惊讶，因为我看不到任何通过身份验证的方法)我是应该在Google Cloud Engine中创建一些虚拟机并在那里部署一些东西，还是应该以某种方式描述一个
浏览 0提问于2015-07-14得票数 1
当将固定数目的字符串(用于测试的80万1KB )放入PubSub主题并在Dataflow中运行以下Apache (2.1.0)作业时，完全按照预期保持一次语义。org.apache.beam.sdk.Pipeline;import org.apache.beam.sdk.io.gcp.pubsub.PubsubIOsubscription") void setInp
浏览 0提问于2017-11-17得票数 0
回答已采纳
我找不到一种使用java从pub/sub读取消息的方法。 <groupId>com.google.cloud</groupId> <args) throws Exception {
浏览 1提问于2017-06-11得票数 6
当我们开始一项工作时，它似乎产生了许多其他的工作，这些都是悬在一起的。
服务坏了吗？at com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner.run(DataflowPipelineRunner.java:221)at com.google.cloud.dataflow.sdk.runners.BlockingDataflowPipelineRunner.run(B
浏览 4提问于2015-05-12得票数 2
回答已采纳
当我在GCE中运行jar时，它有以下错误：
下面是显而易见的。-1.10.5.1.jar google-clou
d-dataflow-java-sdk-all-0.4.
浏览 3提问于2015-08-13得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
