我该如何使用Spring执行到Google Cloud Dataflow的Apache Beam管道？这个问题类似于，但这个问题更关注从Spring控制器启动管道，而不是从CommandLineRunner启动管道。Required when running a Dataflow in the cloud.See https:/
浏览 15提问于2020-05-15得票数 4
回答已采纳
在本地运行管道时，我会得到以下异常。在提交云执行时也不例外。INFO: Executing pipeline using the DirectPipelineRunner.(TransformTreeNode.java:200)at com.google.cloud.
浏览 0提问于2014-12-29得票数 0
回答已采纳
Beam2.1管道在有状态的ValueState中使用DoFn。它在单个工作人员中运行良好，但是当启用缩放时，如果“无法从状态读取值”和下面的根异常，则会失败。有什么原因吗？Caused by: java.util.concurrent.ExecutionException: com.google.cloud.dataflow.worker.KeyTokenInvalidException(AbstractFuture.java:500)
at com.google.cloud<
浏览 5提问于2017-10-07得票数 2
回答已采纳
4回答
at com.google.cloud.dataflow.sdk.repackaged.com.google.common.base.Preconditions.checkArgument(Preconditions.java:146)
浏览 0提问于2016-03-19得票数 7
我是个新手，我们有一个spring-boot应用程序在GKE上运行，通过Kafka接收并通过Pub/Sub发布事件。由于应用程序在发布之前将事件存储在GCS中，因此我们认为使用DataFlow运行的Apache光束管道应该可以做到这一点。我相当确信定义和提交管道的逻辑是正确的，因为应用程序能够使用DirectRunner在本地Kubernetes集群上执行此操作。
在DataFlow上，我遇到了问题摘要。:/opt/google/
浏览 6提问于2021-02-19得票数 0
"namespace":"myNamespace",架构正确地解析，但是当我尝试执行管道时: Unable to get field id from class null
at com.google.cloud.dataflow.sdk.Pipeline
浏览 0提问于2016-06-19得票数 0
回答已采纳
1回答
我正在尝试将数据从云发布/订阅传递到Google云存储。当我使用runner DataflowRunner时，管道被发布到Google Cloud Dataflow，并按预期工作。然而，对于一些测试，我希望管道在本地运行(但仍然从云发布/订阅读取并写入云存储)。我正在使用以下命令执行管道： -
浏览 11提问于2021-02-23得票数 0
回答已采纳
requirements.txt文件的样子Flask==0.12.2gunicorn==19.7.1six==1.10.0google-cloud$ ls -1 lib/
浏览 5提问于2017-10-20得票数 2
回答已采纳
我们正在致力于为spring-cloud-dataflow添加用户管理功能。我已经向spring-cloud-dataflow-server-core项目添加了新的控制器。我的控制器似乎没有被调用，因为当按照RequestMapping参数进行rest调用时，服务器返回404。如何向spring-cloud-dataflow-server添加新的控制器、存储库和模型？
浏览 2提问于2018-06-03得票数 0
在云中执行我们的管道运行得很好。但是当它作为一个DirectPipelineRunner (即本地)运行时，它就会出错，并抱怨所提供的文件模式。文件模式使用glob。INFO: Executing40)
at com.google.cloud.data
浏览 0提问于2015-02-18得票数 0
长版本at com.google.cloud.dataflow.sdk.runners.PipelineRunner.apply(PipelineRunner.java:74)
at com.google.cloud.dataflow.sdk.run
浏览 4提问于2016-09-21得票数 5
回答已采纳
管道开始的代码： p.apply(BigQueryIO.Read.fromQuery(at com.google.cloud.dataflow.sdk.runners.worker.ParDoFnBase$1.output(ParDoFnBase.java:117)
at com.google.cloud.dataflow.
浏览 1提问于2015-07-17得票数 0
2回答
我需要从Cloud函数触发Cloud管道。但是云函数必须用Java编写。所以云函数的触发器是的Function /Create事件，也就是说，当一个文件上传到GCS桶中时，云函数必须触发云数据流。当我创建数据流管道(批处理)并执行该管道时，它将创建一个dataflow管道模板并创建一个Dataflow作业。;
import com.google.api.services.dataflow.
浏览 14提问于2020-08-21得票数 9
回答已采纳
我附加了我的管道的一部分，试图找到问题。com.google.cloud.dataflow.sdk.transforms.ParDo.evaluateHelper(ParDo.java:1229)at com.google.cloud.dataflow
浏览 0提问于2016-06-14得票数 2
我在周五执行了一个管道，它在周末一直在执行，但在周日有很多下面的错误：(6f550257718f53da): Exception: java.lang.IllegalArgumentException)com.google.
浏览 0提问于2015-06-15得票数 0
<init>(TimerOrElement.java:53) com.google.cloud.dataflow.worker.BeamFnMapTaskExecutorFactory$5.typedApply:136)
com.google.<e
浏览 2提问于2018-10-10得票数 1
我根据本文设置了一个云数据流管道：Uncaught exception in main thread我的云数据流管道源代码如下：import com.googl
浏览 1提问于2015-12-28得票数 0
2回答
目前，这些是用来安排执行我所知道的Dataflow的任务的：
使用App服务或云函数。- This [example](https://cloud.google.com/blog/products/gcp/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions- This [example](https:/
浏览 0提问于2018-12-10得票数 4
在一个管道中，是否可以对另一个云项目中的云存储文件执行TextIO操作？
浏览 0提问于2015-02-14得票数 1
我正在尝试创建和部署Dataflow管道，将从Cloud主题收集的数据流到。import com.google.cloud.dataflow.sdk.Pipeline;import;
import com.google.cloud.dataflow.sdk.runners.Data
浏览 2提问于2017-08-02得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
