我尝试将Spark ETL应用程序转换为梁应用程序。sc.emptyRDD()
其中sc是SparkContext。如果我理解得很好，PCollection就像火花RDD。因此，有一种方法可以创建空的PCollection
浏览 4提问于2017-12-04得票数 0
回答已采纳
问题陈述Exception in thread "main" org.apache.beam.sdk.Pipelineat org.apache.beam.sdk.
浏览 15提问于2022-02-03得票数 0
回答已采纳
尝试了SQL(类似于BigQuery BeamSQL ) "SELECT X.address FROM PCOLLECTION, Unnest(details) as X"，然后得到空指针异常。`email`UNNEST(`PCOLLECTION`., PCOLLECTION]])
java.lang.NullPointerExcepti
浏览 12提问于2019-05-08得票数 0
我有一个Java应用程序，它使用Apache beam 2.20。我读取输入文件，并进行过滤和转换，然后将结果以拼图格式写入S3。我试着用TextIO编写空的PCollection。写入成功
浏览 0提问于2021-01-13得票数 0
(Pipeline.java:542) at org.apache.beam.sdk.values.PCollection.apply(PCollection.java:355)
at org.apache.beam.sdk.transforms.Combine$PerKey.expand(Comb
浏览 0提问于2020-05-07得票数 1
我通过从存储桶中读取CSV文件并将其存储在Big Query中来进行转换 PCollection quotes =....BigQueryIO.Write.CreateDisposition.CREATE_NEVER)
.withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_APPEND)); 我需要替换将PCollection
浏览 16提问于2020-03-31得票数 0
回答已采纳
应该如何实现位于https://beam.apache.org/documentation/pipelines/design-your-pipeline/的以下逻辑 //merge the two PCollectionsFlatten//me PCollec
浏览 17提问于2019-05-17得票数 4
回答已采纳
我在内存中创建PCollection并将其写入postgres sql。现在，当我在表中插入数据时，很少有记录可能会抛出异常，并且不会被插入。如何在启动流水线时提取此类失败的插入记录？new Stock("INT", 3200, "Intel Corporation")); // Reading dummy data and save it into PCollection<Stock>
PCollection<Stock> dat
浏览 7提问于2021-11-22得票数 0
我将向kafka输入多个表的数据，beam将在获得数据后执行SQL，但现在有以下错误：org.apache.beam.sdk.values.PCollection.getSchema(PCollection.java:328) org.apache.beam.sdk.extensions.sql.impl.schema.BeamPCollectionTable.(BeamPCollectionTable.java
浏览 10提问于2019-11-22得票数 0
回答已采纳
我使用beam从包含json对象的文件中准备了一个Pcollection<BeamRecord>对象。下面的代码解析并将json行映射到ChatHistory对象，然后将映射的对象转换为BeamRecord。be cast to org.apache.beam.sdk.coders.BeamRecordCoderat org.apache</em
浏览 1提问于2018-02-26得票数 1
回答已采纳
我正在构建一个管道，我想看到它的点表示，我用这个 at org.apache.beam.sdk.runners.TransformHierarchy$Node.visit(TransformHierarchy.java:585)
浏览 11提问于2022-11-09得票数 0
1回答
我尝试了一整天，使用了几个beam (beams-2.8.0)，但都失败了，我认为最有希望的是使用beams.io.hadoopfilesystem。
浏览 6提问于2019-01-16得票数 1
我有一个PCollection of BigQuery TableRow元素，这些元素的标记取决于TableRow的某一列是否被成功解析。我想做以下几点：
myPCollection.get(NOTOK)
我看不出有一个名为myPCollection.getAll()的方法，但是它不是PCollection，而是返回一个PCollection&
浏览 0提问于2020-01-31得票数 0
回答已采纳
1回答
Apache写入
、、
我正在尝试使用beam从PubSub中读取数据，进行处理，然后将数据写入PubSub主题，但我无法找到如何写入PubSub的工作示例。 method org.apache.beam.sdk.values.PCollectionsuper org.apache
浏览 0提问于2017-11-14得票数 2
2回答
;import org.apache.beam.sdk.io.gcp.spanner.SpannerIO;import org.apache.beam.sdk.options.PipelineOptionsFactory;
import org.apach
浏览 6提问于2017-10-11得票数 4
我在试着2.每15分钟使用文件加载将事件从Cloud /Sub加载到BigQuery，以节省流插入的成本。;import org.apache.beam.sdk.io.gcp.bigquery.BigQueryIO;import org.apache.beam.sdk.transforms.MapE
浏览 0提问于2018-04-17得票数 0
回答已采纳
import org.apache.beam.sdk.values.PCollection; [ERROR] method org.apache.beam.sdk.values.PCollection.super org.apache.beam.
浏览 0提问于2018-08-20得票数 0
1回答
我在apache beam中构建了一个管道，我对此很好奇，将ptransform应用到一个列表和一个pcollection之间有什么区别，性能是受此影响的还是仅仅是pcollection是不可变的，这是用apache beam来获取管道的一个坏方法吗？
浏览 4提问于2022-04-02得票数 0
回答已采纳
我正在使用apache beam向gcs编写一个json。相同的代码如下： class WriteDataGCS(beam.PTransform): To write data to GCS PTransform Method run when called on Class Name
:type pcoll: PCollec
浏览 20提问于2019-09-11得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号