我有一个带有一组PTransforms的管道，我的方法变得非常长。 我想把我的DoFns和复合转换写在一个单独的包中，然后在我的main方法中使用它们。使用python很简单，我如何使用Scio实现这一点？我没有看到任何这样做的例子。
浏览 14提问于2019-08-25得票数 0
回答已采纳
我有一个运行在Flink runner上的光束管道，如下所示： ? 光束中的整个管道都被捆绑到这个区块中。为什么Flink用这种方式来说明它？ ? 当然，管道步骤中的不同pardo应该由不同的块和工作者来表示(就像在Google的数据流中一样)。是否需要在Flink运行器中设置某些内容以显示更细粒度的任务，或者Flink UI是否仅为原生Flink代码构建，而这正是该UI处理Apache光束管道的方式？
浏览 24提问于2021-07-05得票数 1
想知道是否有某种“钩子”来放置一段代码，这些代码将在apache beam管道关闭时执行(无论出于什么原因--崩溃，取消)
每次数据流停止时，我都需要删除pubsub主题上的订阅。
浏览 12提问于2017-08-17得票数 1
1回答
我有以下用例：在我的管道中有一个CountByKey聚合。在scio-examples中，只有与设置列值相关的更新，但没有使用原子增量。Mutations.newSetCell(如何从Scio / Apache
浏览 0提问于2018-07-16得票数 0
为此，我想使用Apache光束，并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。谁能帮助我如何设置从BigQuery读取数据的Apache光束管道中的流的数量。 参考文献：BQ Storage API Overview，Apache Beam BQ I/O
浏览 25提问于2021-05-02得票数 0
我已经创建了一个管道，它使用了Apache的Scio包装器。我想在中部署它。
我希望有一个特定的按钮或端点或函数来定期执行此作业。如何上传工件一次，然后尽可能轻松地基于管道创建作业？
浏览 2提问于2018-10-24得票数 1
回答已采纳
我有以下代码来运行直接运行在windows上的apache beam中的sql转换。import apache_beam as beamValueError: Unsupported signal: 2
我在youtube上看到专家在谈论Universal Local Runner，但我不知道如何安装
浏览 0提问于2021-06-15得票数 1
1回答
是否有可能使用当前版本的Apache光束来开发一个接收HTTP消息中的数据的无限源？我的意图是运行一个HTTP服务器，并将接收到的消息注入到光束管道中。如果可能的话，可以用现有的源代码来完成吗？
浏览 27提问于2021-04-16得票数 1
我正在从批处理管道中的有界源csv文件读取数据，并希望根据存储为csv文件中列的数据为元素分配一个时间戳。我如何在Apache光束管道中做到这一点？
浏览 0提问于2019-02-01得票数 2
我是阿里巴巴云的新手，我有一个运行在Google Cloud Dataflow上的Apache光束应用程序。现在，我想将相同的apache beam管道部署到阿里云。我正在寻求关于如何/需要哪些设置才能在阿里云中运行apache beam管道的帮助？阿里巴巴有没有相当于Google Cloud Platform Dataflow的资源？
浏览 2提问于2020-03-25得票数 0
我正在使用apache beam Java SDK来处理它。尝试了解多线程/并行数据处理在apache光束管道中是如何工作的。关于多线程，数据是如何从一个PTransform处理到另一个的？
浏览 9提问于2020-07-23得票数 0
我有Apache光束模型来实时处理多个时间序列。部署在GCP DataFlow上，它将多个时间序列组合到窗口中，并计算聚合等。如何使用Apache beam来实现这一点？实际上，我需要数据，如果我部署了相同的管道两年就会有数据。
浏览 2提问于2019-06-21得票数 0
假设我有一个从存储文件加载数据的管道，并将其加载到一个大查询表中。在这个管道完成之前，我可以运行另一个管道，在相同的文件和表上执行相同的操作吗？
我的假设是它应该失败。另外，我们如何能够触发第二个管道呢？(我在Eclipse中运行Apache光束代码；当一个类正在运行时，它不允许第二次执行)我们可以使用CLI运行吗？
浏览 1提问于2018-05-02得票数 1
我正在使用Python中的Apache光束构建一个管道，并且我需要避免在Google Cloud Storage中写入文件时出现竞争条件。下面的链接介绍了如何通过gsutil在谷歌云存储中使用并发控制。
有没有人知道有没有办法用Python或Apache Beam Python SDK来完成同样的事情？
浏览 2提问于2018-08-31得票数 0
1回答
我已经用Apache光束写了一个数据流管道，让你对代码有一个基本的了解： Job= ( |"cretae">>beam.Create(["message"]) |"job 2" >> beam.ParDo(dofn2()) ) 目前，我通过创建一个随机消息来触发数据流<e
浏览 24提问于2021-09-03得票数 0
回答已采纳
1回答
我想使用Apache光束制作机器学习管道，从本地文件夹读取图像，然后对其进行预处理。我找到了一些如何将.txt或.csv文件作为管道输入处理的示例。如何做到这一点？
浏览 24提问于2020-04-25得票数 1
我正在尝试使用python创建一个apache光束管道，它从CSV读取数据并将输出数据存储到本地SQL服务器。我不确定如何建立到SQL server的连接并写入服务器。你能帮帮我吗。
浏览 22提问于2021-08-16得票数 0
AnyRef, publishedUtc: DateTime) at org.apache.beam.sdk.transforms.ParDo.of(ParDo.java:435)
at com.spotify.scio.values.PCollectionWrapper<init>(ParDo.java:
浏览 0提问于2017-09-18得票数 2
我正在尝试在我的Apache光束管道中调用方解石SQL中的最小函数： ......我得到以下错误： Caused by: org.apache.beam.vendor.calcite.v1_20_0.org.apache.calcite.sql.validate.SqlValidatorException该如何调用该函数？
浏览 50提问于2021-02-09得票数 0
1回答
正因为如此，我们正在考虑将DataFlow与Apache Beam一起使用。我正在尝试在Apache光束管道中执行这条MERGE语句，类似于： pipeline.apply(
"DEPARTMENT - RUN MERGE WITH INSERTBigQueryIO.readTableRows().fromQuery(MERGE_DEPARTMENT_I_U).usingStandardSql()); 问题是，当我们将这段代码放在我想让你的意见知道是否有可能在<e
浏览 14提问于2020-05-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
