当我在Google Cloud Platform的网站上运行the example notebook Dataflow_Word_count.ipynb时，我可以使用Apache Beam notebooks启动一个数据流作业，该作业成功完成。(lambda word: word.lower())
| "lower_count" >> beam.combiners.Count.PerEle
浏览 23提问于2020-10-05得票数 0
回答已采纳
我使用带有模板的Google : CI服务器(连续集成)将模板部署到GCS，然后使用gcloud dataflow jobs run命令从该模板启动批处理作业。现在，在管道本身中，我想知道这个确切管道的启动时间(用于输出文件的名称)。
这种反思是否可以在光束/数据流中进行？是否有可能从作业本身的内部获取作业名称和作业启动时间？
浏览 0提问于2019-05-14得票数 0
我想了解数据流管道的工作原理。 在我的例子中，我有一些定期发布到云发布/订阅的内容，然后Dataflow将其写入BigQuery。通过的消息量数以千计，所以我的发布者客户端有1000条消息的批处理设置，1mb和10秒的延迟。问题是，在批处理中发布时，Dataflow SQL是接收批处理中的所有消息并将其一次性写入BigQuery，还是一次写入一条消息？ 有没有一个比另一个更好的好处呢？ 如果需要任何其他细节，请评论。
浏览 35提问于2021-11-23得票数 0
回答已采纳
我通过Python API在Dataflow上使用Apache光束从Bigquery读取数据，对其进行处理，然后将其转储到Datastore接收器中。不幸的是，作业经常会无限期地挂起，我不得不手动停止它。当数据被写入到Datastore和Redis中时，从数据流图中，我注意到只有几个条目被卡住，作业被挂起。因此，当具有15台16核计算机的作业运行9小时(正常情况下，该作业运行30分钟)时</
浏览 3提问于2018-06-25得票数 0
2回答
我有一个运行在从BigQuery读取数据的谷歌云DataFlow上的Beam作业。当我运行作业时，作业需要几分钟时间才能开始从(微型)表中读取数据。结果是数据流作业发送的是以批处理模式运行而不是以交互模式运行的BigQuery作业。如何将其切换为在Apache光束中立即运行？我在API中找不到更改优先级的方法。
浏览 2提问于2017-05-26得票数 1
我在使用从CircleCI启动的GCP Dataflow runner运行python Apache光束管道时遇到了严重的问题。基本上，我运行的是在数据流中运行并使用google-api-python-client-1.12.3的python Apache光束管道。如果我从CircleCI中运行相同的作业，则会创建数据流作业，但它会失败，并显示一条ImportError: No m
浏览 10提问于2020-10-13得票数 2
回答已采纳
我正在使用Google Data Flow来实现一个ETL数据仓库解决方案。而且看起来DataProc比DataFlow便宜一点。
浏览 1提问于2017-09-27得票数 66
1回答
我想使用Spring与Apache光束，这将运行在谷歌云数据流运行。数据流作业应该能够在执行管道步骤时使用Spring Runtime应用程序上下文。我想在我的Apache光束管道中使用Spring特性来实现DI和其他东西。在google上浏览了几个小时后，我找不到任何关于在Apache Beam中集成Spring的帖子或文档。所以，如果有人尝试过spring和Apache
浏览 9提问于2019-10-05得票数 2
BQ ExampleGen利用数据流从BQ读取数据并保存到TRecords。数据流作业启动，但不执行任何操作-它在启动/准备工作进程期间被卡住。我在worker VM启动时连接到它，而不是显示pip不断运行并消耗100%的CPU -它没有完成，我等待了一个多小时才停止作业。TFX版本: 0.26.3 (与0.26.4并列，结果相同) Apache Beam SDL: 2.28 (尝试2.29，结果相同)
我甚至尝试过在<em
浏览 15提问于2021-05-19得票数 0
我有一个波束/数据流流水线。每次重新启动/重新启动光束拓扑时，我都需要更新正在处理的元素的元数据，以便我可以识别每个元素的拓扑版本。例如，假设我可以将拓扑开始时间作为元数据插入，但希望以一种不需要将date作为作业启动参数的方式来执行此操作。
浏览 23提问于2019-01-10得票数 0
我需要延迟处理或发布文件名(文件)。我在找最好的选择。1)延迟发布消息，以便立即处理它，但要在好的/预期的时刻进行处理
2)延迟处理检索到
浏览 0提问于2018-12-21得票数 0
1回答
我们正在考虑使用波束/数据流进行有状态处理。我们理解状态持久性是由Windmill/Persistent Disks 1管理的。
浏览 4提问于2021-11-04得票数 0
我正在使用谷歌数据流中的光束KafkaIO源运行作业，但无法找到一种简单的方法来在作业重新启动时保留偏移量(作业更新选项不够，我需要重新启动作业)到目前为止我考虑过的选项：
浏览 61提问于2018-01-24得票数 5
回答已采纳
通过调用函数ReadableFile.readFullyAsUTF8String，尝试使用数据流作业中的apache光束FileIO读取大小为10+ GB的CSV文件。而且，它失败了，错误如下。ByteArrayOutputStream.java:93) at org.apache.beam.sdk.util.St
浏览 4提问于2019-05-05得票数 0
当使用Eclipse IDE和相关插件时，我能够轻松地在本地和数据流上执行作业-从IDE。当尝试“产品化”作业时(由于已知的Dataflow/Bigquery限制，我不能使用模板)，我试图在“云构建”环境中从命令行使用"mvn package“--但它总是失败，并出现诸如"package org.apache.beam.runners.dataflow.optionsas not exist”之类的<em
浏览 11提问于2017-12-25得票数 0
它与GCP数据流(Apache光束)相关。 我在项目B中创建了一个数据流模板，如果我使用一个人的电子邮件或服务帐户运行它，一切都会正常工作。我正在寻找一个解决方案，以便使用项目A (sa-A@PROJECT-A)中定义的服务帐户从其他项目A运行项目B的数据流模板。sa-A@PROJECT-A在项目B中已经拥有必要的权限。{table} \
--region=us-east1 其中使用的gcs-location是项目B中存在的模板的位置。当我<e
浏览 17提问于2020-01-14得票数 1
回答已采纳
如何使用Apache Beam获取Parquet文件的模式？如果没有它，我会将数据加载到内存中，因为有时它可能会很大，而且我只对了解列以及可选的列类型感兴趣。from pyarrow.parquet import ParquetFile首先，当我给它一个gs://..路径
浏览 11提问于2020-02-12得票数 0
回答已采纳
我们有一个使用Apache光束的数据流构建，并部署在GCP数据流基础设施中。数据流实例第一次完全运行，并按预期创建分区表，但当它第二次运行时，它将清除数据集中的结果，而不是替换为特定分区中的新数据集。当使用本地设置中的Direct runner运行作业时，它工作得很好。
浏览 10提问于2021-01-28得票数 0
回答已采纳
我想做很多过滤/转换/清理，而不是使用sql。我尝试使用dask/panda/python将数据加载到本地mac的dask数据帧中，进行转换，然后将数据推送回bigquery，以便其他总线可以使用它。
浏览 2提问于2019-03-30得票数 0
3回答
我需要通过数据流和光束运行从GCS到BigQuery的批处理作业。我所有的文件都是具有相同模式的avro。我已经创建了一个dataflow java应用程序，它成功地处理了较小的数据集(大约1 1gb，大约5个文件)。但是，当我尝试对更大的数据集(>500 an，>1000个文件)运行它时，我收到一条错误消息
java.lang.RuntimeException: org.apache.beam.sdk.util.UserCodeExcep
浏览 0提问于2018-04-04得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
