我正在使用apache beam向gcs编写一个json。但是遇到了以下错误 NotImplementedError: offset: 0, whence: 0, position: 50547, last: 50547 [while running 'Writing相同的代码如下： class WriteDataGCS(beam.PTransform): To write data to GCS
""&qu
浏览 20提问于2019-09-11得票数 0
回答已采纳
我正在尝试使用python code.My代码中的kafka.ReadFromKafka()方法读取kafka主题中的数据，如下所示：
from apache_beam.io.external import_options) File "/usr/local/lib/python3.7/dist-packages/apache_beam/runners/dataflow/dataflow_
浏览 1提问于2020-07-07得票数 0
通过这个问题：How to group data and construct a new column - python pandas?，我知道了如何使用pandas对多列进行分组并构造一个新的唯一id，但是如果我想在Python中使用Apache beam来实现该问题中描述的相同功能，我如何实现它，然后将新数据写入换行符分隔的JSON我是Apache beam的新手，这是我现在所拥有的： import pandas
import apache_beam</em
浏览 14提问于2021-08-15得票数 0
回答已采纳
1回答
我正在使用Google Cloud平台上的AI平台Jupyter Notebook环境(用于Python3的Apache Beam2.28.0)开发Apache Beam管道。Traceback (most recent call last)
~/apache-beam-2.28.0/lib/python3.7/site-packages/apache_beam&#x
浏览 3提问于2021-03-04得票数 1
/packages/beam/sdks/python/dist/apache-beam-%s0.tar.gz' %
浏览 0提问于2020-06-11得票数 0
1回答
/site-packages/apache_beam/pvalue.py in __or__(self, ptransform) 139 def __or__(self,/site-packages/apache_beam/pipeline.py in apply(self, transform, pvalueish, label)
585 try:/site-packages/apac
浏览 10提问于2020-09-01得票数 0
我刚从apache文档的初始指南开始，看起来这个特定的管道导入已经不可用了。从apache_beam.options.pipeline_options导入PipelineOptions错误：
ImportError跟踪(最近一次调用) in () ->1来自apache_beam.options.pipeline_options
浏览 1提问于2017-05-22得票数 3
回答已采纳
我跑我得到了然后我跑了pip listapache-beam 2.2.0 python -m apache_beam.examples.wordco
浏览 0提问于2019-01-27得票数 0
回答已采纳
例如，来自Apache Beam官方存储库的HEAD版本，或与此相关的特定标签。
我知道打包定制包(例如私有的本地包)的可能性，正如官方中所描述的那样。这里有关于如何为其他一些脚本做这件事的答案是。例如，对于最新的可用标记，其PiP处理的链接将是：git+https://github.com/apache/beam.git@v2.1.0-RC2#egg=apache_beam[gcp]&subdirectory=sdks/
浏览 16提问于2017-07-27得票数 4
回答已采纳
(request) File "/home/user/beam-env/local/li
浏览 0提问于2019-03-30得票数 0
回答已采纳
", "--environment_config={\"command\": \"/opt/apache/beam/boot\"}",consumer_config = {
"security.protocol": "SASL_SSL",s
浏览 18提问于2022-06-02得票数 1
回答已采纳
job_name是预处理-ga360-190523-130005
modules versions are apache-beam 2.5.0,google-cloud-dataflow(flags = [], **options)
with beam.Pipeline(options=opts) as
outfile = "gs://s
浏览 33提问于2019-05-23得票数 1
光束管道中使用它import tensorflow_transform.beam as tft_beam 193/site-packages&#
浏览 26提问于2020-02-04得票数 3
回答已采纳
(打印)
~/PROJECTS/Apache_Beam/env/lib/python3.8/site-packages/apache_beam/pvalue.py in __or__(self, ptransform/env/lib/python3.8/site-packages/apache_beam/pipel
浏览 9提问于2021-01-26得票数 0
我的Mac中安装了python、venv、apache beam和gcloud。我还登录了gcloud傀儡。options.view_as(StandardOptions).streaming = True
(p | 'Read from PubSub'
浏览 5提问于2021-02-08得票数 2
1回答
/venv/lib/python3.7/site-packages/apache_beam/transforms/core.py", line 1415, in
wrapper = lambda x:"/usr/local/lib/python3.7/site-packages/apache_beam/runners/
浏览 2提问于2020-01-30得票数 0
我正在尝试使用光束编程框架(Python SDK)流式传输来自发布/订阅主题的消息，并将它们写出到控制台。这是我的代码(使用apache-beam==2.27.0)： import apache_beam as beam result.wait_until_finish()
run(TOPIC_PATH)
浏览 24提问于2021-01-21得票数 0
我有一个简单的管道，3周前它可以正常工作，但是我已经返回代码来增强它，当我试图运行代码时，它返回了以下错误：代码如下所示，它用于将作业提交到数据流中，而不存在任何问题。import jsonfrom apache_beam.optio
浏览 6提问于2020-10-23得票数 4
问题...Building wheels for collected packages: future, avro-python3, docopt ERROR: Command errored out with exit status 1:
command: /venv/bin/python3 -u -c 'import
浏览 1提问于2021-09-12得票数 0
我正在使用virtualenvwrapper来管理一个项目，在这个项目中，我只是暂时运行它from apache_beam.options.pipeline_options(most recent call last): import apache_beam
浏览 10提问于2020-08-20得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号