error at: '\\n'","failureType":"UserError","target":"df_ReplicaSync","errorCode":"DFExecutorUserError"} 如何调试它呢
浏览 39提问于2020-08-10得票数 1
回答已采纳
下面的管道适用于DirectRunner，但在下面的DataflowRunner中引发异常。如何调试这些错误？对我来说这似乎很不透明。in dataflow_worker.operations.DoOperation.start (dataflow_worker/operations.c:13064) File "dataflow_worker/operations.py", line 351, in
浏览 0提问于2017-05-20得票数 2
回答已采纳
我发现这是dataflow API的一个必要改进，否则我可能错了。所以管道工作给了DataFormatException。
浏览 0提问于2015-06-16得票数 2
1回答
在运行一些从g3读取的作业时，我得到了以下异常，然后按键对数据进行分组。异常发生在读取过程中。com.google.cloud.dataflow.sdk.runners.worker.ApplianceShuffleWriter.write(Native方法( com.google.cloud.dataflow.sdk.runners.worker.ShuffleSink$ShuffleSinkWriter.outputChunk(ShuffleSink.java:293) at com.google.cloud.
浏览 3提问于2016-06-16得票数 1
回答已采纳
$TextFileWriter.close(TextSink.java:243) at com.google.cloud.dataflow.sdk.util.common.worker.MapTaskExecutor.execute(MapTaskExecutor.java:77)
at com.google.cloud.dataf
浏览 0提问于2016-02-19得票数 2
我正在尝试使用DataStore从DataFlow写信给com.google.cloud.datastore。: com.google.cloud.datastore.DatastoreException: I/O errorat com.google.cloud.dataflow.sdk.util.DoFnRunnerBase$DoFnProcessCon
浏览 4提问于2016-09-05得票数 1
回答已采纳
我正在使用，并想知道如果抛出异常，如何避免关闭整个DataFlow。
我有一个系统，在这个系统中，任务将随机出现，我希望网络记录故障，放弃特定的任务并继续执行其他任务。DataflowEx在异常处理上采用了一种快速失败的方法，就像TPL一样。当抛出异常时，低级块首先结束于错误状态.然后通知失败块的父实例Dataflow实例。在完成/完成了它的所有子级之后，父Dataflow也会完成它，原始异常被包装在CompletionTask中，其状态也是
浏览 9提问于2017-11-06得票数 2
回答已采纳
我收到了一些很难调试的奇怪错误。我正在运行一个简单的UDF JavaScript映射程序，它映射JSON数据并将其导入BigQuery。我以前运行过其他UDF函数，从来没有遇到过这样的错误。有任何方法来调试数据流模板UDF错误(使用实际的调试器或至少使用console.log或类似的)吗？$1.output(GroupAlsoByWindowsParDoFn.java:183) at com.google.cloud.dataflow.worker.GroupAlsoByWindowFnRunner(BatchGr
浏览 0提问于2018-05-18得票数 1
1回答
但是，当我们从同一个JAR生成一个模板，使用通过云函数执行时，我们发现了以下异常： at org.apache.beam.runners.dataflow.worker.BatchDataflowWorker.executeWork(BatchDataflowWorker.java:395)
at org.apache.beam.runners.datafl
浏览 1提问于2018-11-20得票数 3
1回答
(当JPA找不到您的实体时，我会得到“类型不是托管的”异常)。我已经完成了一些调试：@EntityScan({})
然后，我的实体开始像往常一样加载，但是Spring DataFlow中断了。我认为这主要是“如何在一个项目中实现基于JPA的多个位置的代码”，而不是Spring问题。但是了解修复可能需要更好地理解SCDF是如何实现的。我已经检查了这个项目，并阅读了Spring
浏览 0提问于2019-02-19得票数 0
前三个步骤似乎运行良好，但在大多数情况下，作业在最后一个insert步骤上遇到问题，这会在日志中产生异常：at com.google.cloud.dataflow.sdk.io.BigQueryIO$StreamingWriteFn.finishBundle(:158)
at com.google.cloud.dataflow.sdk.runners.worker.SimpleParDoFn.
浏览 5提问于2016-09-28得票数 0
回答已采纳
.toArray(CompletableFuture[]::new));
} 在上面的代码中，我可以看到其中一个任务的executeAsync()方法的异常日志记录，但是调用此方法的函数无法捕获从它抛出的异常。我需要捕获从任何任务抛出的任何异常，并相应地更新数据库。
浏览 73提问于2020-01-18得票数 0
我试图通过Google Cloud Scheduler执行一个自定义的数据流模板，但是当我执行作业时，我得到了一个UNAUTHENTICATED异常。如何授予Google Cloud Scheduler访问权限以使用Dataflow google API？下面是我使用的URL和POST正文： https://dataflow.googleapis.com/v1b3/projects/<<PROJECT>>/templates:launch?
浏览 13提问于2019-03-15得票数 0
回答已采纳
它在单个工作人员中运行良好，但是当启用缩放时，如果“无法从状态读取值”和下面的根异常，则会失败。有什么原因吗？Caused by: java.util.concurrent.ExecutionException: com.google.cloud.dataflow.worker.KeyTokenInvalidException(ForwardingFuture.java:62)
at com.google.cloud.dataflow.worker.WindmillStateReader$WrappedFuture.get((Windmil
浏览 5提问于2017-10-07得票数 2
回答已采纳
但是，即使只处理一个大小约为1.31GB的Avro文件，也会遇到OutOfMemoryError异常。我收到了以下错误消息，似乎异常来自于AvroIO和Avro库： at com.google.cloud.dataflow.sdk.io.AvroIO.access$000(AvroIO.java:118)
at com.google.c
浏览 1提问于2015-01-16得票数 0
回答已采纳
我正在尝试运行spring dataflow本地服务器，并为所有应用程序配置rabbitmq绑定器。我在主机172.17.0.2上的docker上运行rabbitmq。java -jar spring-cloud-dataflow-server-local-1.2.3.RELEASE.jar --spring.cloud.data
浏览 1提问于2017-08-12得票数 0
当我运行我的数据流管道时，我得到下面的异常，抱怨我的DoFn不能被序列化。我该如何解决这个问题？下面是堆栈跟踪： at com.google.cloud.dataflow.sdk.util.SerializableUtils.serializeToByteArray:
浏览 0提问于2015-01-20得票数 11
回答已采纳
1回答
执行作业时遇到的错误是： task_id, variables, dataflow, name, ["python"] + py_options, in _start_dataflow
_Dataflow(c
浏览 0提问于2018-05-04得票数 2
我怎样才能最好地进行调试呢？(HashBasedTable.java:76) at com.google.cloud.dataflow.worker.StreamingModeExecutionContext(StreamingDataflowWorker.java:1058)
at com.google.cl
浏览 2提问于2018-02-22得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
