2回答
阿帕奇光束到BigQuery
、、、、
我正在Google Cloud Dataflow中构建一个流程，该流程将使用发布/订阅中的消息，并基于一个键的值将它们写入BQ或GCS。我能够拆分消息，但我不确定如何将数据写入BigQuery。我的完整代码如下： https://pastebin.com/4W9Vu4Km 基本上我的问题是，我不知道如何在 (第73行)变量 应该写入BQ。这可能是因为我给它提供的不是字典，而是字典列表(我想使用1分钟窗口)。 有什么想法吗？(另外，如果代码中有一些太
浏览 102提问于2021-02-23得票数 1
回答已采纳
1回答
Apache依赖关系错误
、、、、
我正在尝试使用来自Java的Apache作为数据管道。我编写了一个简单的类，它来自Google并深入到，但我无法让它为我的生命构建。我使用Maven构建并添加了我能找到的每一个束包，但是我仍然会得到“类文件未找到”错误。不幸的是，谷歌一直没有提供任何帮助。
我所拥有的POM文件是基于Apache为Wordcount提供的示例POM，但是添加了额外的依赖项。下面是我输入的依赖项。我可以提供完整的文件，如果需要，但它是相
浏览 0提问于2018-02-12得票数 2
回答已采纳
我正在尝试阅读多个卡夫卡经纪人使用KafkaIO上的阿帕奇光束。偏移量管理的默认选项是kafka分区本身(不再使用kafka >0.9的zookeper )。使用此设置时，当我重新启动作业/管道时，存在重复和缺少记录的问题。读完卡夫卡之后，我会把
浏览 9提问于2017-12-24得票数 0
2回答
我正在使用谷歌数据流上的阿帕奇光束。 我的流水线从BigQuery读取数据，但它依赖于执行参数。我应该能够用一个点(经度，纬度)和几个点来运行管道。我尝试在每个点上应用BigQuery read，并将结果合并到一个PCollection中，但我不知道如何将点传递到管道并动态构建它。
浏览 16提问于2019-01-27得票数 0
回答已采纳
3回答
如何使用apache和DataflowRunner从Google BigQuery数据集中获取表的列表？
我找不到如何从指定的数据集中获取表。我想使用Dataflow的并行处理编程模型将表从位于美国的数据集迁移到位于欧盟的数据集。
浏览 0提问于2018-07-16得票数 0
2回答
我想读取一个csv文件，并将其写入到BigQuery使用阿帕奇光束数据流。为此，我需要将数据以字典的形式呈现给BigQuery。如何使用apache beam转换数据以实现此目的？我的输入csv文件有两列，我想在BigQuery中创建一个后续的两列的表。我知道如何在BigQuery中创建数据，这很简单，我不知道的是如何将csv转换成字典。下面的代码是不正确的，但应
浏览 1提问于2016-12-16得票数 9
回答已采纳
我在读关于阿帕奇光束的文章。在阿帕奇光束中经历了各种跑步者。但我想知道，如果有人可以直接使用apache spark，为什么要使用带有spark runner的apache beam？
浏览 2提问于2020-06-30得票数 1
有人在数据流中使用过DynamicDestination，他有一个简单且描述过的示例。我厌倦了在git (<code>C0</code>)中看到远程传送的例子，它伤害了我作为一个新手在阿帕奇光束。顺便说一下，我需要做的是从Pubsub读取消息，并通过数据流作业写入BigQuery dataset中的不同目的地(表)。我有一个自定义项目，它非常适合Bigquery表，但Pubsub主题将包含来自同一数据集的</e
浏览 15提问于2020-03-18得票数 2
我需要学习一个项目的阿帕奇光束。我已经阅读了Apache光束文档，但我认为这还不够。有没有人可以推荐学习Apache光束的资源？
浏览 10提问于2017-07-04得票数 0
回答已采纳
我在我的新公司担任数据工程师，致力于构建google cloud platform (GCP)批处理ETL管道。我的团队的数据科学家最近向我传递了一个数据模型(用Python3.6编写的.py文件)。
数据模型有一个主函数，我可以调用它并获得一个数据帧作为输出，我打算将这个数据帧附加到一个bigquery表中。有没有什么办法，我可以只导入这个主函数，并使用apache (数据流)将其集成到管道中，而不必将数据模型重新编码为PTransform？或者，使用云调度程序和云函数来实现我想要<e
浏览 0提问于2019-08-21得票数 0
我是新手阿帕奇光束和太空火花，我想配置火花流道的光束管道。文档中提到的内容我不清楚。
浏览 1提问于2020-04-18得票数 0
我想从BigQuery中读取数据并将其发布到Pubsub。为此，我想使用Apache光束，并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。因此，希望使用BigQuery的Storage Read API来减少这一时间，该API支持使用流读取数据。尽管Beam支持使用存储API，但我找不到设置最大流数的文档。谁能帮助我如何设置从BigQuery读取数据的Apache光束管道中的流
浏览 25提问于2021-05-02得票数 0
我正试图在google中构建python管道，而google云数据流似乎是一个不错的选择。当我研究文档和开发人员指南时，我发现apache梁总是附在数据流上，因为它是基于它的。我可能会在apache beam中找到处理我的数据文件的问题。
如果我想用DataFlow在原生python中构建我的ETL脚本，这可能吗？还是有必要用阿帕奇光束进行ETL？如果DataFlow仅仅是为了使用Apache而构建的呢？是否有无服务
浏览 4提问于2021-08-23得票数 1
我需要写记录到BigTable使用阿帕奇光束。但是，如果表中已经存在特定的行键，则不能写入该记录。我可以在BigTable中使用条件写来做这件事吗？我在文档中没有找到与Apache光束相关的示例。
浏览 45提问于2019-12-21得票数 1
1回答
我正在进行一个项目，以生成包含将显示在Google上的数据的xml文件。是否可以使用Google生成xml文件？
浏览 1提问于2017-11-03得票数 0
回答已采纳
1回答
我正在寻找一个具有并发的大规模并行处理系统，它可以为每500毫秒100多万台IoT设备提供无缝的数据摄取解决方案。寻找开源的、高度可扩展的、不同协议的丰富的库，支持ESB，并且可以无故障地管理多线程。
是阿帕奇光束，阿帕奇Nifi或阿帕奇骆驼或WSO2更好的选择。
浏览 2提问于2018-07-30得票数 0
1回答
对于一个简单的概念证明，我试图在两分钟的窗口中窗口点击数据。我想要做的就是打印每个窗口的计数，以及窗口的边界到BigQuery。,"reason":"invalid"}],"index":0}]// Creating the pipeline
Pipeline p = Pipeline.create(optionswithoutDefaults())
浏览 1提问于2018-11-26得票数 0
回答已采纳
1回答
我正在与阿帕奇光束一起工作。我的任务是从kafka主题中提取数据，并在数据流中进行处理。数据流是否支持kafkaIO？
KafkaIO支持哪些runners？
浏览 0提问于2020-07-08得票数 2
在GCP BigQuery中，可以创建表的视图。文档在这里：https://cloud.google.com/bigquery/docs/views。我想知道是否有可能通过Apache光束在BigQuery中创建一个视图，如果可以，它不在文档https://beam.apache.org/documentation/io/built-in/google-bigquery
浏览 9提问于2021-08-20得票数 0
1回答
我们所有的服务代码都是用铁锈写的。为了防止训练服务偏差，我们希望在使用Apache的批处理过程中使用相同的服务代码。在阿帕奇光束中使用锈菌有什么指示吗？
浏览 4提问于2022-10-09得票数 3
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
