当ParDo函数中存在错误时，NACK不会从数据流发送回Google Cloud发布/订阅
当ParDo函数中存在错误时，NACK（Negative Acknowledgement）不会从数据流发送回Google Cloud发布/订阅。
ParDo函数是Google Cloud Dataflow中的一个重要概念，用于在数据流管道中进行数据的转换和处理。当在ParDo函数中发生错误时，数据流管道会根据错误处理策略执行相应的操作。
在Google Cloud发布/订阅中，当ParDo函数中存在错误时，通常会根据错误处理策略进行相应的处理，而不是直接将NACK发送回数据流。错误处理策略可以根据具体需求进行配置，常见的策略包括：
- 丢弃错误数据：将发生错误的数据丢弃，继续处理下一个数据。
- 重试：对于发生错误的数据，可以选择进行重试，直到处理成功或达到最大重试次数。
- 错误输出：将发生错误的数据输出到错误流，以便后续处理或分析。
根据具体情况，可以选择适合的错误处理策略来保证数据流的稳定性和可靠性。
在Google Cloud中，相关的产品和服务可以使用Google Cloud Dataflow来实现数据流处理和转换。Google Cloud Dataflow是一种托管式的数据处理服务，可以帮助用户轻松构建和执行大规模的数据处理任务。
相关·内容
1回答
读写依赖问题
、、、、
我需要的是:依赖关系的正确组合--版本能够通过DatastoreIO.v1()、读/写从数据流中读取和写入数据存储(V1.9.0)，在pom中需要引用哪些依赖项？
Dataflow 1.9.0在mavenrepo的pom中引用的数据流特定依赖项：
com.google.cloud.dataflow/google-cloud-dataflow-java-sdk-all/1.9.0
com.google.cloud.datastore/datastore-v1-protos/1.0.1
com.google.cloud.datastore/datastore-v1-proto-client/1.1
浏览 1提问于2017-05-22得票数 1
回答已采纳
我有一个简单的管道，只执行读取PubsubIO.Read.subscription。除了以下例外，每次使用大约200个元素后，每次运行都会失败：
[error] (run-main-0) java.lang.RuntimeException: java.lang.NullPointerException
java.lang.RuntimeException: java.lang.NullPointerException
at com.google.cloud.dataflow.sdk.runners.inprocess.InProcessPipelineRunner.run(InPr
浏览 4提问于2017-01-04得票数 3
1回答
Google Cloud Dataflow是否足够智能，可以自动利用多核处理器？
也就是说，如果我有一个只使用单核的标准，并且我只使用了一个工作者，但我已经传递了-- ParDo -=n1- ParDo -2，那么数据流是否会运行两个并行的标准实例？
浏览 0提问于2017-05-24得票数 0
我已经在Google Cloud上部署了一个9节点的Datastax集群。
现在，我被要求从队列中读取数据，并加载到Google Cloud上的Datastax中(继续流式传输)。
我知道Pub/Sub可以从队列中读取数据，但不确定是否可以直接加载到Datastax中。
发布/订阅是否可以将数据加载到Google Cloud上的Datastax中？
我刚开始使用Pub/Sub，所以不知道从哪里开始，也不知道如何开始。
谢谢,
浏览 1提问于2016-11-17得票数 0
1回答
我已经用Apache光束写了一个数据流管道，让你对代码有一个基本的了解： Job= (
p
|"cretae">>beam.Create(["message"])
|"job 1" >> beam.ParDo(dofn1())
|"job 2" >> beam.ParDo(dofn2())
|"job 3" >> beam.ParDo(dofn3())
) 目前，我通过创建一个随机消息来触发数据流管道，消息的内容无关紧
浏览 24提问于2021-09-03得票数 0
回答已采纳
我运行了一个非常简单的作业，得到了以下错误：
(8a5049d0d5f7569e): Workflow failed. Causes: (8a5049d0d5f750f5): The Dataflow appears to be stuck. You can get help with Cloud Dataflow at https://cloud.google.com/dataflow/support.
job_id为2018-01-15_07_42_27-12856142394489592925。
我用来运行此作业的代码如下：(函数ReconstructConversation()在进入
浏览 2提问于2018-01-14得票数 4
当我运行我的数据流管道时，我得到下面的异常，抱怨我的DoFn不能被序列化。我该如何解决这个问题？
下面是堆栈跟踪：
Caused by: java.lang.IllegalArgumentException: unable to serialize contrail.dataflow.AvroMRTransforms$AvroReducerDoFn@bba0fc2
at com.google.cloud.dataflow.sdk.util.SerializableUtils.serializeToByteArray(SerializableUtils.java:51)
at c
浏览 0提问于2015-01-20得票数 11
回答已采纳
1回答
您好，我在尝试使用Eclipse运行Google Dataflow模板示例Pub/Sub时遇到了这个错误。
Exception in thread "main" java.lang.Error: Unresolved compilation problem:
AutoValue_JavascriptTextTransformer_FailsafeJavascriptUdf cannot be resolved to a type
at com.google.cloud.teleport.templates.common.JavascriptTextTransformer$Fa
浏览 3提问于2018-09-26得票数 1
我正在尝试创建和部署Dataflow管道，将从Cloud主题收集的数据流到。但是，我仍然遇到以下错误:无法找到符号符号:变量DatastoreIO位置:类DataUpload
我不明白我做错了什么，因为我遵循以下文档导入相关的包- DatastoreV1以及遵循示例代码的语法：
任何帮助都会大大减轻我这几天来所做的脑震荡。提前感谢！
import com.google.cloud.dataflow.sdk.Pipeline;
import com.google.cloud.dataflow.sdk.io.PubsubIO;
import com.google.cloud.dataflow.sd
浏览 2提问于2017-08-02得票数 1
当数据流作业无法或不愿意处理消息时，如何向发布/订阅发送NACK。 Pipeline pipeline = Pipeline.create(options);
pipeline.apply("gcs2ZipExtractor-processor",
PubsubIO.readMessagesWithAttributes()
.fromSubscription(pubSubSubscription))
.apply(ParDo.of(new ProcessZipFileEventDo
浏览 19提问于2021-04-22得票数 1
我根据本文设置了一个云数据流管道：
当我将其提交到Cloud Dataflow托管服务时，在Cloud Dataflow工作线程处收到以下错误：
Uncaught exception in main thread. Exiting with status code 1.
java.lang.NoSuchMethodError: io.grpc.netty.GrpcSslContexts.forClient()Lcom/google/bigtable/repackaged/io/netty/handler/ssl/SslContextBuilder;
at com.google.cloud.bi
浏览 1提问于2015-12-28得票数 0
我已经升级到新的谷歌数据流1.6版，当我在本地机器上测试时，我在管道的末尾得到了一个java.lang.IllegalStateException。我在1.5.1版本中没有这个问题。
这不仅仅发生在实时环境中，只发生在本地。这是新版本的bug吗？有必要对我的代码进行更改以避免这些错误吗？
我附加了我的管道的一部分，试图找到问题。
private static void getTableRowAndWrite(final PCollection<KV<Integer, Iterable<byte[]>>> groupedTransactions, final
浏览 0提问于2016-06-14得票数 2
2回答
我使用的是Cloud Pub/Sub的异步拉取 现在，当我调用message.nack()方法时，它会立即重新提交这条消息。 subscription.on('message', (message) => {
message.nack();
}) 如何延迟重新发货？ 例如，我收到一条关于publishTime: '2019-05-28T10:24:31.055Z'的消息 我想让这条消息在上次发送后20秒(计算)重新发送。
浏览 28提问于2019-05-28得票数 0
回答已采纳
我正在尝试将PipelineOptions接口传递给数据流DoFn，以便DoFn可以配置一些需要重新实例化的不可序列化的内容，但是当我告诉数据流保存我的DoFn子类的实例时，数据流似乎无法序列化PipelineOptions。是否需要对Options接口执行某些操作才能使其正确序列化？
我知道可以选择编写自定义的序列化+反序列化代码(就像在、中一样)，但似乎PipelineOptions类明确地说它应该是可序列化的，并且我不希望在使用该选项对象的每个DoFn中都编写序列化和反序列化代码。
Options类片段：
public interface Options
extends Bigtabl
浏览 10提问于2017-07-18得票数 1
回答已采纳
我有一个spring服务，订阅来自google cloud pubsub (拉取)主题的消息。 我已经尝试在我的配置文件配置中设置这些配置。像这样管理消息的重试： spring:
cloud:
gcp:
pubsub:
subscriber:
retry:
max-attempts: 2
retry-delay-multiplier: 5
initial-retry-delay-seconds: 1
max-retry-delay-sec
浏览 10提问于2019-05-02得票数 0
我正在构建一个Dataflow管道示例，主要基于的代码
但是，当我运行我的代码时，我会遇到以下异常：
线程"main“中的异常:无法序列化com.google.cloud.dataflow.sdk.runners.DirectPipelineRunner$TestCombineDoFn@139982de at com.google.cloud.dataflow.sdk.util.SerializableUtils.serializeToByteArray(SerializableUtils.java:51) at com.google.cloud.dataflow.sdk.util.
浏览 6提问于2015-02-06得票数 0
回答已采纳
问题
尝试在
InvalidUserInputError: Request missing required parameter projectId [while running 'InputToRecord/QueryTable/ReadFromBigQuery/Read/SDFBoundedSourceReader/ParDo(SDFBoundedSourceDoFn)/SplitAndSizeRestriction']
步骤
设置GCP项目和交互式TFX上下文。
import os
os.environ['GOOGLE_APPLICATION_CREDENTIAL
浏览 26提问于2022-06-12得票数 0
我的目标是在任何图像从注册表中更新/插入/删除时，在代码中从google容器注册表获得通知。
我正在学习教程-
我能够使用google控制台使用命令- gcloud alpha pubsub订阅请求订阅从注册表中提取通知消息。
但是，我希望这些通知消息以代码( java)的形式传递。
如果有人能给我任何参考，任何文章或教程，将有帮助。
在dsesto的注释之后，我添加了以下代码。当我第一次运行时，这段代码给了我一些消息。但之后，我继续运行应用程序，试图从容器注册表中删除/插入图像，但没有给出任何消息。任何建议。
package com.avaya.ipoffice.mcm.googlecon
浏览 1提问于2018-07-09得票数 0
回答已采纳
5月1日快乐，
我正在做一个简单的POC来利用PusSub的死信主题特性。我将订阅配置为在20次最大传递尝试之后将邮件重新发布到一个单独的死信主题(下面是使用的订阅拉码和示例消息)。
注意:我使用云控制台配置了订阅。
Problem/challenge:即使尝试了36次传递，测试消息仍然没有被重新发布到死信主题。根据文档，我将假设我的测试消息将被重新发布到死信主题，并且不应该在20次尝试之后传递。我遗漏了什么？
请求订阅代码
const {PubSub} = require('@google-cloud/pubsub');
var moment = require(
浏览 3提问于2021-05-01得票数 1
2回答
将数据从BigQuery导出到谷歌存储的最佳方式是什么？注意，我需要对Bigquery运行查询，而不是导出所有数据。本质上，我需要对BigQuery (如select * from mytable where code=foo )运行自定义查询，查询结果需要写入存储在Google Cloud上的csv中。我相信，最好的方法是通过Google Dataflow。如果还有其他选择，请让我知道。此外，我正在寻找一些如何实现这一点的样本。有没有我能找到一些例子的地方？
这就是我到目前为止得到的PipelineOptions pipelineOptions = PipelineOptionsFactor
浏览 0提问于2017-01-05得票数 2
我以字典的形式将来自Google Cloud Pubsub的(无界的)数据导入PCollection。随着流数据的传入，我想通过在静态(有界的)查找表上通过键连接它来丰富它。这张表足够小，可以存放在内存中。 我目前有一个使用DirectRunner运行的有效解决方案，但是当我尝试在DataflowRunner上运行它时，我得到了一个错误。 我已经使用beam.io.ReadFromText函数从csv中读取了有界查找表，并将值解析到字典中。然后，我创建了一个ParDo函数，它将我的无界PCollection和查找字典作为辅助输入。在ParDo中，它使用生成器在查找表的正确行上“连接”，并将丰
浏览 7提问于2019-09-05得票数 4
1回答
我是数据流的新手，并且尝试在大查询中动态获取表的模式。此外，我还需要在BigQueryIO.write.to()中使用动态目标类来动态获取目标表的名称。如果在执行管道之前为目标表提供了模式，那么它就会起作用。但是为了动态地获取模式，我使用了BigQuery片段，它接受datasetId和tableId作为输入，并返回给定表的模式。当尝试运行带有代码段的管道时，它会给出下面提到的错误。
任何帮助都是非常感谢的。提前谢谢。
Exception in thread "main" java.lang.NoSuchMethodError: com.google.api.client.go
浏览 2提问于2018-07-06得票数 0
我正在尝试设置一个DAG，它将响应云发布/订阅消息。它需要我在我的DAG代码中添加以下导入语句： from airflow.providers.google.cloud.operators.pubsub import (
PubSubCreateSubscriptionOperator, PubSubCreateTopicOperator, PubSubDeleteSubscriptionOperator,
PubSubDeleteTopicOperator, PubSubPublishMessageOperator,
)
from airflow.providers.google.clou
浏览 28提问于2020-01-30得票数 1
回答已采纳
我想实现PubSub订阅的批量消费，检索流程开始时订阅中的所有消息。为此，我使用以及consumer.ack()和consumer.nack()函数来准确处理我想要的消息数量，并使订阅重新传递我已收到但尚未处理的消息。我的问题是，我没有设法找到一种方法来检索我的订阅中的实时消息计数。
我已经开始从Google Cloud Monitoring请求pubsub.googleapis.com/subscription/num_undelivered_messages指标，但不幸的是，该指标与订阅中未送达消息的实际计数有大约3分钟的延迟。
有没有办法实时检索这个消息计数？
浏览 5提问于2021-10-01得票数 1
1回答
我正在一个云数据流中集成一个“应用”，它为cloud编写了一条json消息。问题是apache库(以及依赖项)和Firestore库不兼容。下面，我将向您展示我的pom、数据流代码和maven编译错误的摘录：
数据流工作非常好，可以从pub/sub或云存储中读取数据，并将其写入pub/sub。但是，在我添加了防火墙依赖项的那一刻，我在编译时得到了一个依赖错误。我认为grpc是个问题。我已经注意到了最后一个apache版本，但是我得到了同样的错误。
pom
<properties>
<beam.version>2.8.0</beam.vers
浏览 0提问于2019-05-09得票数 1
我们的一些数据流作业在读取源数据文件时随机崩溃。
作业日志中会写入以下错误(工作日志中没有任何内容)：
11 févr. 2016 à 08:30:54
(33b59f945cff28ab): Workflow failed.
Causes: (fecf7537c059fece): S02:read-edn-file2/TextIO.Read+read-edn-file2
/ParDo(ff19274a)+ParDo(ff19274a)5+ParDo(ff19274a)6+RemoveDuplicates
/CreateIndex+RemoveDuplicates/Combine.P
浏览 0提问于2016-02-19得票数 2
编辑:我在打开接收器实验选项的情况下使用beam.io.WriteToBigQuery实现了这一点。我实际上使用了它，但我的问题是我试图从str()中包装的两个变量(数据集+表)“构建”完整的表引用。这是将整个值提供程序参数数据作为字符串，而不是调用get()方法来仅获取值。 操作 我正在尝试生成一个数据流模板，然后从GCP云函数调用。(作为参考，我的数据流作业应该读取其中包含一堆文件名的文件，然后从GCS读取所有这些文件，并将其写入BQ)。因此，我需要以这样一种方式编写它，以便可以使用运行时值提供程序来传递BigQuery数据集/表。 在我的帖子的底部是我目前的代码，省略了一些与问题无关的
浏览 16提问于2019-12-07得票数 3
回答已采纳
我的订阅者看起来如下：
from google.cloud import pubsub_v1
from google.cloud.pubsub_v1.types import DeadLetterPolicy
dead_letter_policy = DeadLetterPolicy(
dead_letter_topic='dead_letter_topic',
max_delivery_attempts=5,
)
topic_path = subscriber.topic_path(PROJECT, TOPIC)
subscriber.create_sub
浏览 3提问于2020-02-08得票数 0
回答已采纳
我写了一个输出集合的DoFn<String, Set<SectionBodyRecord>>。当我执行我的管道时，我得到了一个异常
Caused by: com.google.cloud.dataflow.sdk.util.IllegalMutationException: DoFn UnmarshalGcsPath mutated value
[SectionBodyRecord{txId='3UR93528NX413902J'},
SectionBodyRecord{txId='15N97640P5806660M'},
浏览 0提问于2016-11-14得票数 1
我有一个spring服务，订阅来自google cloud pubsub (拉取)主题的消息。它总体上工作正常。但我想要更多地控制重新发送的消息。我的服务有时需要阻止消息，或者只是让ackDeadline通过，这样我以后就会再次获得消息。在测试单个消息时，nack消息几乎立即返回给我，而那些我根本没有确认或nack的消息，在ackDeadline默认10秒后返回。我希望它推迟对这些消息的重复消费。我以为重试设置就是为这种情况设计的。我还应该提到的是，我目前正在使用模拟器进行本地测试，并从代码创建订阅。我正在使用PubSubAdmin进行管理。 根据此docu，我已尝试在我的配置文件配置中设置
浏览 37提问于2019-02-05得票数 3
回答已采纳
我从google数据流中得到了DATA_LOSS异常。我有10-15 Json文件(大小约2-3 MB /文件).我正在使用jackson2解析文件，使用ParDo()进行一对转换，最后通过组来删除重复的项。如果我做错了什么，你能帮忙吗？
它在DirectPipelineRunner上运行得很好。
2016-05-11T13:06:31.277Z: Detail: (eb15ba3070c2acbc): Checking required Cloud APIs are enabled.
2016-05-11T13:06:31.637Z: Detail: (eb15ba3070c2abc7)
浏览 2提问于2016-05-11得票数 3
回答已采纳
在浏览并创建Scala应用程序以在本地运行管道时，我得到了以下例外：
Exception in thread "main" java.lang.NullPointerException
at com.google.cloud.dataflow.sdk.util.SerializableUtils.clone(SerializableUtils.java:89)
at com.google.cloud.dataflow.sdk.transforms.ParDo$Bound.<init>(ParDo.java:700)
at com.google
浏览 0提问于2016-02-04得票数 1
回答已采纳
我用googleapis有过非常糟糕的经历，迷失了一周，但失败了，所以我提出了一些问题，希望能得到大家的帮助。
在从Google Cloud Flatform控制台的PUB/SUB创建了一个主题订阅(带有端点URL)之后，我使用了nodejs，代码如下：
var gmail = google.gmail({ auth: {---my auth---}, version: 'v1' });
gmail.users.watch({
userId: "me",
resource: {
topicName: "projects/
浏览 0提问于2017-02-03得票数 1
我在BigQuery中有一个联邦源代码，它指向GCS中的一些CSV文件。
当我尝试将联邦BigQuery表作为Dataflow管道的源读取时，它会引发以下错误：
1226 [main] ERROR com.google.cloud.dataflow.sdk.util.BigQueryTableRowIterator - Error reading from BigQuery table Federated_test_dataflow of dataset CPT_7414_PLAYGROUND : 400 Bad Request
{
"code" : 400,
浏览 5提问于2016-03-24得票数 4
回答已采纳
作为以下问题和答案的后续问题：
我想向google工程团队()确认一下，如果Eugene提出的第三种选择完全可以使用google：
“有一个ParDo，它接受这些键并创建BigQuery表，另一个ParDo将数据和流写到表中”
我的理解是，ParDo/DoFn将处理每个元素，在从ParDo/DoFn的processElement中写入时，我们如何指定表名(从侧输入传入的键的函数)？
谢谢。
用DoFn更新了，由于c.element().value不是pcollection，所以它显然无法工作。
PCollection<KV<String, Iterable<String&g
浏览 0提问于2016-03-14得票数 1
回答已采纳
在启动Google PubSub模拟器并向其发送一些消息之后，我启动了测试系统，当我尝试启动SubscriberClient时，我得到了一个异常：
Grpc.Core.RpcException
HResult=0x80131500
Message=Status(StatusCode="NotFound", Detail="Subscription does not exist (resource=franchisingSalesReceipts-motorpromo-sub-dl)", DebugException="Grpc.Core.Inte
浏览 40提问于2021-10-28得票数 0
回答已采纳
每当我尝试按照这里的指令使用add_value_provider_argument执行我的管道模板时，管道都会尝试执行，从而导致错误，而不是上传到GCS bucket。
下面是我要部署的代码：
#deploy
python -m main \
--runner DataflowRunner \
--project $PROJECT \
--staging_location gs://$DATAFLOW_BUCKET/staging \
--temp_location gs://$DATAFLOW_BUCKET/temp \
--output gs://$DATAFLOW_BUCKET/out
浏览 5提问于2018-09-29得票数 2
给出了BigQuery中的下表：
具有以下5个值：
和一个简单的ParDo来读取它，并打印类型：
import com.google.api.services.bigquery.model.TableRow;
import com.google.cloud.dataflow.sdk.Pipeline;
import com.google.cloud.dataflow.sdk.io.BigQueryIO;
import com.google.cloud.dataflow.sdk.options.DataflowPipelineOptions;
import com.googl
浏览 1提问于2015-11-26得票数 2
回答已采纳
1回答
我正在尝试将一个对象转换为org.apache.hadoop.hbase.client.Put中的DoFn。我一直在犯这个错误：
com.google.cloud.dataflow.sdk.util.IllegalMutationException: DoFn DataBuckettingToBigTableConnectorFn mutated value {"totalColumns":36,"row":"HealthTechnology#MedicalSpecialties#1470010560000#gnip","families
浏览 0提问于2016-09-29得票数 0
回答已采纳
我一直在努力处理一个需要发出外部输出的作业，因为我一直得到一个异常(“无法序列化xxx”)。
尽管我显式地为我所使用的类型指定了一个编码器，但我仍然得到了相同的错误，所以我决定按照以下文档编写一个简单的工作：
令我惊讶的是，我仍然得到了同样的例外，现在我怀疑我一定做错了什么(但我自己也搞不清楚)。就代码而言，我试图遵循上面给出的示例。
下面，我发布了源代码以及运行时收到的错误消息。我相信这是可复制的(将“GCS_BUCKET”更改为您拥有的任何桶，并创建main()方法，使用args调用'TestSideOutput‘)，最好知道其他人是否可以在其端进行复制。我们使用的是JDK 8和
浏览 1提问于2016-10-04得票数 1
回答已采纳
我使用过spring cloud data flow、rabbitmq和kafka，但我想知道是否可以使用google pub/sub安装scdf。
我不想创建一个流(新的应用程序，spring云流)，它的源或宿都是gcp，我想让google pub/sub over spring cloud数据流服务器作为一个中间消息传递代理。
有什么建议吗？
浏览 1提问于2019-12-30得票数 1
我是的新手，从下面的问题中可以看出这一点。
我已经编写了一个数据流应用程序，并且可以在本地和GCE实例上使用我的个人凭据来运行它。但是，我似乎无法破解使用计算引擎实例的服务凭据或我使用控制台的API & AUTH部分创建的服务凭据来运行它的正确步骤。当我运行时，我总是得到一个401没有授权的错误。
这是我试过的..。
1)创建虚拟机，授予存储、数据存储、sql和计算引擎访问权限。我的理解是，这应该会创建一个特定于CI的服务帐户，这是服务器的默认凭据。在此实例上运行应用程序时，应该使用与用户身份验证相同的方式。这是我得到401的地方。我的问题是..。我在哪里可以看到这个据说是创建的服务帐
浏览 5提问于2015-07-07得票数 1
回答已采纳
1回答
我有一个Google应用程序，其中数据存储在中。我想使用Dataflow将部分数据放到BigQuery中，但我想从Datastore获取一些信息并将其写入。我的代码如下所示：
public class DatastorePipeline {
private static final Logger LOG = LoggerFactory.getLogger(DatastorePipeline.class);
static class GetEmailFn extends DoFn<Entity, String> {
@Override
public voi
浏览 3提问于2015-10-11得票数 3
回答已采纳
我需要使用python脚本通过pubsub将文件批处理/流式传输到google云存储中。
我已经使用了下面的python文件，能够看到从topic发布到订阅的消息，现在我想将这些单独的消息上传到一个文件中，需要加载到云存储中。
你能建议我们在哪里可以修改以下脚本中的代码，将消息数据作为文件加载到云存储中(批量处理单个消息)
在path下面我们有python脚本: python-docs-samples/pubsub/cloud-client
subscriber.py
publisher.py
其他问题:是否可以通过pubsub流式传输文件并将其加载到云存储中。
谢谢
浏览 1提问于2018-04-20得票数 0
我在看最新版本(obtained from gs://cloud-ml/sdk/cloudml-0.1.9-alpha.dataflow.tar.gz)
在google/cloud/ml/dataflow/batch_prediction.py的第153-159行中，我们有以下代码：
except Exception as e: # pylint: disable=broad-except
logging.error("Got an unknown exception: [%s].", traceback.format_exc())
if self._cloud_lo
浏览 3提问于2017-02-21得票数 1
回答已采纳
我正在构建数据流作业，以从云存储获取数据，并将其传递给NLP API以执行情绪分析，并将结果导入到BigQuery 作业在本地成功运行(我没有使用数据流运行器) import apache_beam as beam
import logging
from google.cloud import language
from google.cloud.language import enums
from google.cloud.language import types
PROJECT = 'ProjectName'
schema = 'name : STRING,
浏览 27提问于2019-08-14得票数 0
回答已采纳
我正在尝试用JAVA部署一个App Engine Flexible Environment项目，只需要一个简单的Servlet就可以创建一个Pipeline，以便在每次调用服务时在Google Dataflow中执行，但我总是在从Eclipse或控制台部署时遇到相同的错误。谁知道为什么会发生这个错误？请帮帮我！
Servlet代码：
import java.io.IOException;
import javax.servlet.annotation.WebServlet;
import javax.servlet.http.HttpServlet;
import javax.servlet.
浏览 0提问于2017-07-14得票数 0
我在某个地方看到了message.nack()，但我忘了那个地方。
我在谷歌上搜索，但没有任何信息。
我需要有关message.ack()和message.nack()的文档链接。
我读了一本关于google pub-sub的书
以下是代码：
const pubsub = require('@google-cloud/pubsub')({
projectId: 'your-project-id'
});
const topic = pubsub.topic('first-topic');
const subscription = topic.
浏览 1提问于2018-11-08得票数 0
回答已采纳
2回答
我没有配置这个项目，每当我运行我的工作时，我都会得到这个错误：“网络默认没有打开TCP端口1-65535用于与其他VM的内部连接的规则。只有设置了目标标记'dataflow‘或空目标标记的规则才适用。如果您不指定这样的规则，那么任何有超过一个工作人员来处理数据的管道都会挂起。原因:没有防火墙规则与您的网络相关联。
google_cloud_options = p_options.view_as(GoogleCloudOptions)
google_cloud_options.region = 'europe-west1'
google_cloud_options.pro
浏览 0提问于2019-07-30得票数 7
回答已采纳
1回答
我想运行数据流作业，将数据从1表迁移到2表。(从一个读到另一个)。我在做这件事的时候得到了许可。我已将"GOOGLE_APPLICATION_CREDENTIALS“设置为指向项目-1的凭据文件。在项目-2中是项目-1的权限/角色。1)服务-帐户(角色编辑器) 2) -compute@developer.gserviceaccount.com (角色编辑器) 3) @cloudservices.gserviceaccount.com(角色编辑器)
我还需要做些什么来管理这个工作吗？
由: com.google.bigtable.repackaged.com.google.cloud.
浏览 0提问于2016-10-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
