目前，我观察到Apache Beam是为灵活的流处理而发布的。我正在寻找处理视频流的接口，但是没有找到。任何人可以建议任何视频处理API与Apache Beam/ Google Dataflow。
浏览 6提问于2016-12-22得票数 0
我需要开始一个新的项目，我不知道是否火花或Flink会更好。目前，该项目需要微批处理，但以后可能也需要流事件处理。
假设火花是最好的，是否有缺点使用梁代替选择火花/Flink作为跑步者/引擎？Beam是否会增加任何开销，或者在Spark/Flink中缺少某些API/功能？
浏览 2提问于2019-04-29得票数 1
回答已采纳
1回答
我试图在中运行一个Apache应用程序，它使用Apache作为运行时。管道使用连接器。我正在尝试，因为Kinesis不允许导出环境变量，导出环境变量似乎不是一种选择。我试图使用下面的代码进行身份验证。但是，当运行应用程序时，它会失败，例外情况是：
线程“org.apache.beam.sdk.Pipeline$PipelineExecutionException: com.google.api.client.googleapis.j
浏览 4提问于2021-08-13得票数 1
在我的apache-beam作业中，我调用了一个外部源，GCP存储，这可以被认为是一个通用的http调用，重要的是它是一个外部调用来丰富作业。我在处理每一条数据时，都会调用此API来获取一些信息来丰富数据。在API上有大量对相同数据的重复调用。 有没有一种好的方法来缓存或存储结果，以便对处理的每个数据块重复使用，以限制所需的网络流量。这是一个巨大
浏览 16提问于2019-06-06得票数 0
给定输入CSV (存储在本地或Google云存储中)为 a,b,c4,5,6 如何获取具有值的PCollection {a: 1, b: 2, c: 3}
{a: 4, b: 5, c:6} 而事先不知道CSV报头的名称？
浏览 18提问于2021-03-18得票数 2
回答已采纳
对于BigQuery批处理管道，模板只能执行一次，因为BigQuery作业ID是在创建模板时设置的。我正在使用Apache v2.0.0，无法多次执行该模板。我们可以使用beam at head来实现这一限制吗？如果是，我想知道的第一件事是什么是波束在头部？为了支持多次模板执行，我的Apache Beam程序需要做哪些确切的更改？Maven依赖： <g
浏览 13提问于2017-08-09得票数 0
我正在尝试从GC读取一个csv文件，但是read方法正在生成一个'typeError'，下面是我正在使用的代码片段：from apache_beam.dataframe.convertimport to_dataframe
print(row)
test_pipel
浏览 6提问于2022-09-09得票数 0
我需要处理存储在中的定制二进制文件。 at org.apache.beam.sdk.Pipeline.run(Pipeline.java:297)
浏览 5提问于2017-10-27得票数 2
(WordCount.java:132)以下是我在项目中使用的插件和依赖项：/* * or more contributororg.apache.be
浏览 8提问于2017-06-12得票数 1
回答已采纳
我注意到，RuntimeValueProvider在批处理模式示例中工作，但在带有流引擎的流模式下，运行时参数不会传输到作业，并且会引发错误from apache_beam.options.pipeline_options import PipelineOptions
class'
浏览 18提问于2021-02-28得票数 0
我正在开发一个POC，它是方法评估所必需的。我的Mac中安装了python、venv、apache beam和gcloud。我还登录了gcloud傀儡。下面的代码创建订阅我的PubSub并读取来自Pubsub的消息。(options=options) | 'if __na
浏览 5提问于2021-02-08得票数 2
我试图使用数据流流处理将记录插入到BigQuery中。存储桶中更改的文件从PubSub读取，然后读取、转换并插入到BigQuery中。但是，我不明白为什么我会看到关于这些配额的消息，因为BigQuery的流插入配额是100万/秒。usageLimits", } "status": "PERMISSION_DE
浏览 29提问于2020-02-25得票数 3
1回答
我试图使用Python 处理Apache提供的数据流，用于Apache和Flink运行器。from apache_beam import Pipelinefrom apache_beam.options.pipeline_options(AbstractStreamOperator.ja
浏览 2提问于2019-12-27得票数 3
回答已采纳
1回答
Apache依赖关系错误
、、、、
我正在尝试使用来自Java的Apache作为数据管道。我编写了一个简单的类，它来自Google并深入到，但我无法让它为我的生命构建。我使用Maven构建并添加了我能找到的每一个束包，但是我仍然会得到“类文件未找到”错误。不幸的是，谷歌一直没有提供任何帮助。
我所拥有的POM文件是基于Apache为Wordcount提供的示例POM，但是添加了额外的依赖项。下面是我输入的依赖项。--
浏览 0提问于2018-02-12得票数 2
回答已采纳
我试图使用WriteToKafka将数据发送到Python中的一个Kafka主题，使用Dataflow作为跑步者，通过Apache发送数据。_obj_type.from_runner_api(
File "/home/denes/data-science/venv/lib/python3.8/site-packages/apache_beam/site-package
浏览 6提问于2021-02-17得票数 1
回答已采纳
2回答
) at org.apache.beam.sdk.util.InstanceBuilder.build) at org.apach
浏览 1提问于2018-07-24得票数 0
raise exceptions.from_http_response(response)
google.api_core.exceptions.InternalServerError: 500File "apache_beam/runners/common.py", line 870, in apache_beam.runners.common.projection=noAcl: Backend Error [while running 'MP3 to
浏览 0提问于2019-05-08得票数 0
回答已采纳
我想要处理来自org.apache.spark.sql.Dataset对象的数据，该对象是我用Apache从spark.sql(“query ")检索到的。现在，我使用的解决方案是将数据集转储到txt文件，然后使用beam进行处理。有没有什么方法可以让我直接把Dataset / JavaRDD用到电子束中(Ptransform)？我使用的是<e
浏览 17提问于2019-02-12得票数 1
回答已采纳
1回答
我们使用Apache beam通过Flink处理来自不同来源的事件。在这种情况下，我们需要使用Flink的CEP引擎来定义事件模式并发出警报。我在beam中找不到任何用于此的包装器API。
浏览 22提问于2019-12-06得票数 1
回答已采纳
如果Google NLP API在文本标识的语言不受支持时返回错误，我在管道上的一次迭代中遇到错误。我在管道内处理此异常时遇到了问题，以利用apache beam的高效bach请求。'.format(BUCKET_NAME), num_shards=1)result = p.run()
result.wait_until_finish() 我需要处理的异常： _InactiveRpcError/fn_
浏览 76提问于2021-10-17得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
