到目前为止，我们只能对DoFn使用sideInputs，以便在处理每一个输入行时使用侧边输入。 outputTuple.get(deadletterTag) TextIO.write.withSuffix(".csv&quo
浏览 9提问于2017-08-12得票数 0
回答已采纳
在谷歌云数据流/光束中，我们可以使用这个Metrics API收集应用程序指标，并且可以使用另一个API在应用程序中查询它。但我需要将这些指标持久化到Bigquery/Prometheus中，以实现实时监控和警报机制。请建议如何在谷歌云数据流中实现这一点。
浏览 33提问于2020-01-14得票数 0
回答已采纳
我是阿里巴巴云的新手，我有一个运行在Google Cloud Dataflow上的Apache光束应用程序。现在，我想将相同的apache beam管道部署到阿里云。我正在寻求关于如何/需要哪些设置才能在阿里云中运行apache beam管道的帮助？阿里巴巴有没有相当于Google Cloud Platform Dataflow的资源？
浏览 2提问于2020-03-25得票数 0
1回答
我想使用Spring与Apache光束，这将运行在谷歌云数据流运行。数据流作业应该能够在执行管道步骤时使用Spring Runtime应用程序上下文。我想在我的Apache光束管道中使用Spring特性来实现DI和其他东西。在google上浏览了几个小时后，我找不到任何关于在
浏览 9提问于2019-10-05得票数 2
令人困惑的是，每个关于数据流的谷歌文档都说它现在是基于Apache光束的，并将我引导到光束网站。此外，如果我查找github项目，我会发现google dataflow项目是空的，并且所有的项目都转到apache see repo。假设我现在需要创建一个管道，根据我从Apache光束中读到的，我会这样做：from apache_beam.options.pipeline_optio
浏览 1提问于2017-06-16得票数 3
谷歌数据流-如果从数据流写入本地服务器，如何指定TextIO？(前提是本地服务器通过云VPN连接到GCP )在运行数据流作业时，是否可以像上面那样提供本地IP和目录？我试过了，作业成功
浏览 2提问于2018-09-14得票数 0
2回答
我有一个运行在从BigQuery读取数据的谷歌云DataFlow上的Beam作业。当我运行作业时，作业需要几分钟时间才能开始从(微型)表中读取数据。结果是数据流作业发送的是以批处理模式运行而不是以交互模式运行的BigQuery作业。如何将其切换为在Apache光束中立即运行？我在API中找不到更改优先级的方法。
浏览 2提问于2017-05-26得票数 1
我正试图在google中构建python管道，而google云数据流似乎是一个不错的选择。当我研究文档和开发人员指南时，我发现apache梁总是附在数据流上，因为它是基于它的。我可能会在apache beam中找到处理我的数据文件的问题。
如果我想用DataFlow在原生python中构建我的ETL脚本，这可能
浏览 4提问于2021-08-23得票数 1
我正在使用谷歌云平台来收集IoT数据。然后进行分析，可能是在AI平台上，我想将一些检索到的数据作为配置设置发送到IoT设备。我已经看到了几个流程图(见下文)，显示了数据如何通过数据流从AI平台流动到IoT核心作为设备配置，但我该如何做到这一点？(我之前仅通过Cloud Functions发送设备配置更新。) ? 我是Dataflow和AI平台的新手，但已经开始考虑向Dataflow中的
浏览 19提问于2020-06-11得票数 0
回答已采纳
我正在使用Google Data Flow来实现一个ETL数据仓库解决方案。而且看起来DataProc比DataFlow便宜一点。有没有人知道相对于DataProc，DataFlow的优缺点
为什么谷歌同时提供这两种服务？
浏览 1提问于2017-09-27得票数 66
1回答
我们有一个使用谷歌IoT核心来管理设备的项目，我们想为设备创建一个监控系统。我想知道这是不是一个实用的可扩展的解决方案--我担心指标的数量对于Google监控来说
浏览 4提问于2021-05-19得票数 0
我尝试运行数据流管道，从本地机器(Windows)读取数据，并使用DirectPipelineRunner将数据写入谷歌云存储。作业失败，错误如下:指定FileNotFoundException(因此我认为数据流作业无法读取我的位置)。我从本地计算机运行该作业，以运行我创建的基于GCP的模板。我可以在GCP Dataflow仪表板中看到它，但失败并显示以下错误。请
浏览 4提问于2018-08-10得票数 1
出于某种原因，Apache光束不会将文件写入我的本地环境或Google Storage。我的目标是从谷歌PubSub读取数据，并将其批量写入谷歌存储。要做到这一点，我有以下代码： .apply(PubsubIO.readStrings()UpperCaseAndPrint()))
.apply(Window.into(FixedWindows.of(Duration.mil
浏览 0提问于2018-10-24得票数 2
我在我的新公司担任数据工程师，致力于构建google cloud platform (GCP)批处理ETL管道。我的团队的数据科学家最近向我传递了一个数据模型(用Python3.6编写的.py文件)。
数据模型有一个主函数，我可以调用它并获得一个数据帧作为输出，我打算将这个数据帧附加到一个bigquery表中。有没有什么办法，我可以只导入这个主函数，并使用apache (数
浏览 0提问于2019-08-21得票数 0
我想连接谷歌云sql postgres实例从运行在谷歌数据流上的apache beam管道。我找不到与此相关的适当文档。在云SQL中如何指导我看不到任何关于数据流的文档。
有人能提供文档链接/github示例吗？
浏览 1提问于2017-11-06得票数 3
我正在使用Python中的Apache光束构建一个管道，并且我需要避免在Google Cloud Storage中写入文件时出现竞争条件。下面的链接介绍了如何通过gsutil在谷歌云存储中使用并发控制。
有没有人知道有没有办法用Python或Apache Beam Python SDK来完成同样的事情？
浏览 2提问于2018-08-31得票数 0
我已经使用google云数据流和apache构建了大约一年的python管道。我把谷歌的云环境留给了一个，它已经安装了火花。看起来火花运行器只适用于java ()吗？对于如何在云数据流之外运行python管道，有什么建议吗？
浏览 0提问于2018-03-13得票数 0
回答已采纳
1回答
我有一个关于Apache光束的问题，特别是关于数据流的问题。
我有一个从cloudsql数据库读取并写入GCS的管道。文件名中有一个时间戳。我希望每次我运行它时，它都会生成一个带有不同时间戳的文件。我在本地机器上进行了测试。Beam从postgres数据库读取并写入文件(而不是gcs)。它工作得很好。生成的文件中有不同的时间戳。即使我多次运行，时间戳也是不变的。时间戳与上传数据流模板的时间非常接近。
浏览 3提问于2020-08-19得票数 0
1回答
我有一个云函数，它将消息发布到PubSub，并触发云运行来执行归档文件过程。当有大文件时，我的cloud Run python代码需要一些时间来处理数据，它看起来像是PubSub在20秒(默认确认截止时间)后重试消息，这将从我的Cloud run触发另一个实例。我已经将确认截止时间增加到600秒，并重新部署了所有内容，但它在20秒后仍在重试消息。我遗漏了什么吗？日志记录显示在20秒后触发第二个实例： ? 云
浏览 17提问于2021-07-02得票数 2
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
