腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
不能在星火中联合两个CassandraJavaRDD<CassandraRow>
、
、
、
类型不匹配:无法从
JavaRDD
转换为CassandraJavaRDD( 2)或将某个RDD的类型更改为
JavaRDD
浏览 2
提问于2016-03-07
得票数 1
回答已采纳
1
回答
删除星火JavaPairDStream / JavaDStream中的副本
、
我正在构建一个星火流应用程序,它通过SocketTextStream接收数据。问题是,发送的数据有一些重复的。我想移除他们在火花边(没有预先过滤发送方)。我可以通过DStream的foreach使用JavaPairRDD的不同功能吗?我需要“过滤”的Java(对)DStream用于以后的操作..。
浏览 3
提问于2015-08-25
得票数 0
回答已采纳
1
回答
foreachRDD不接受
JavaRDD
<String>作为返回类型
、
、
当我试图将
JavaRDD
作为新函数()的第二个参数而不是Void时。stream.foreachRDD( new Function<
JavaRDD
<String>,
JavaRDD
<String> >() { // do some stuffreturn RDD下面是我正
浏览 2
提问于2017-08-01
得票数 1
回答已采纳
1
回答
将可迭代转换为RDD
、
、
、
、
当我执行groupByKey时,结果是<key(index), Iterable<value>>的元组,但是为了使用elasticsearch-spark插件保存到elasticsearch,我需要将值作为
JavaRDD
我知道有一个从list创建
JavaRDD
的sparkContext.parallelize(list)选项,但它只能在驱动程序上执行。有没有其他选项可以创建可以在executor上执行的
JavaRDD
?或者我可以用另一种方式来实现在executor上工作的Tuple2<key(index), <
浏览 7
提问于2016-08-08
得票数 1
1
回答
如何从JavaPairInputDStream生成JavaStreamingContext?
、
、
、
、
String, String> lines = jssc.queueStream(inputQueue, true); 我不知道如何用JavaPairInputDStream
浏览 2
提问于2017-12-18
得票数 0
回答已采纳
2
回答
使用Java Spark逐行读取大型文本文件
、
有没有一种有效的
方法
来读取多节点集群中的大型文本文件?
JavaRDD
<String> lines = sc.textFile(path);//Spark Librariesimport org.apache.spark.api.j
浏览 70
提问于2019-11-15
得票数 5
回答已采纳
1
回答
将
JavaRDD
<ArrayList<T>>转换为
JavaRDD
<T>
、
是否有一种直接的
方法
可以使用Apache的Java将
JavaRDD
<ArrayList<T>>转换为
JavaRDD
<T>?baseRDD = sc.newAPIHadoopFile(args[2], InputFormat2.class, NullWritable.class,ArrayList.class, conf); 我想把
JavaR
浏览 0
提问于2015-11-02
得票数 0
回答已采纳
1
回答
如何在Spark Java中使用StructType模式从
JavaRDD
<String>中读取csv格式的数据
、
、
通过使用Spark Java,我尝试使用StructType动态模式读取
JavaRDD
格式的具有逗号分隔值的数据。我知道我可以使用下面的
方法
传递模式(其中schemaStr->StructType和
JavaRDD
->
JavaRDD
)来读取json: Dataset<Row> df = spark.read().schema(schemaStr).json(
javaRDD
);
javaRDD
has value as: name1,address11,city1
浏览 82
提问于2019-10-11
得票数 1
2
回答
JavaRDD
<String>到
JavaRDD
<Row>
、
、
我使用以下命令将txt文件读取为
JavaRDD
:现在,我想将其转换为
JavaRDD
,因为在txt我也试过这个:但是说我不能将map函数分配给"Object“RDD。如何从
JavaRDD
中创建
JavaRDD</e
浏览 0
提问于2019-03-21
得票数 2
回答已采纳
1
回答
spark是否创建了两个工作在相同逻辑上的数据集或阶段?
、
、
、
有谁能帮助找出为什么不同的数据集会两次调用调用
方法
。 aggregateData(sc); }
JavaRDD
lines = sc.textFile(“PersonAggregation1
浏览 3
提问于2015-05-29
得票数 0
1
回答
如何使用Apache Spark JavaRDDs在MongoDB中查询?
、
、
假设有如下所示的Java代码: List<Document>
浏览 14
提问于2017-02-17
得票数 0
回答已采纳
1
回答
什么是
JavaRDD
[(Int,String)]?
、
、
我见过一种
方法
的返回类型是
JavaRDD
[(Int, String)]。我不明白这会转化为什么。 例如,
JavaRDD
[Int]等同于Java中的
JavaRDD
<Integer>
浏览 6
提问于2016-06-20
得票数 0
回答已采纳
2
回答
java.lang.OutOfMemoryError:超过GC开销限制-大型数据集
、
gdxClaimDataset = jdbcDF.as(gdxClaimEncoder); final
JavaRDD
javaSparkContext.parallelize(gdxClaimDataset.collectAsList()); final
JavaRDD
racAssignmentService.assignRac(claim.nex
浏览 7
提问于2019-11-20
得票数 0
回答已采纳
1
回答
Apache -将
JavaRDD
转换为DataFrame,反之亦然,性能会下降吗?
、
、
我通过读取文本文件并将每一行映射到Model属性来创建
JavaRDD
<Model>。基本上,我们试图使用DataFrame API来提高性能和易于编写在将DataFrame转换为
JavaRDD
时,是否存在性能下降或是否会再次创建模型对象。 我这么做的原因是,我没有看到任何使用
浏览 0
提问于2016-01-12
得票数 3
回答已采纳
1
回答
如何在HDFS上使用SparkStreaming时获取文件名
、
我想在HDFS上收听文件更新,我可以通过以下方式获取输入流我可以同时获得新文件的文件名字符串吗?
浏览 15
提问于2016-09-09
得票数 0
3
回答
将JavaDStream<String>转换为
JavaRDD
<String>
、
、
众所周知,JavaDStream是由
JavaRDD
组成的。只有当我有一个applySchema()函数时,才能应用
JavaRDD
()函数。请帮我把它转换成
JavaRDD
。
浏览 2
提问于2014-10-31
得票数 4
回答已采纳
1
回答
Spark Streaming -有没有一种
方法
可以联合两个JavaInputDstreams,在统一流上执行转换并提交偏移
、
、
、
spark使用者必须从不同的Bootstrap服务器读取具有相同名称的主题。因此需要创建两个JavaDstreams,执行联合,处理流并提交偏移量。问题是JavaInputDStream不支持dStream.Union(stream2);JavaDStream<ConsumerRecord<String, GenericRecord>
浏览 0
提问于2018-04-04
得票数 2
1
回答
将数据流中的数据写入拼接
、
、
、
在使用pyspark使用kinesis中的数据之后,我有了一个包含如下条目的数据流:('filename_2', [{'age': 15}, {'age': 25}])在其他地方,我使用以下命令将每个字典列表转换为DataFra
浏览 1
提问于2015-07-28
得票数 4
1
回答
如何将数据集转换为JavaPairRDD?
、
、
、
有一些
方法
可以将Dataset转换为
JavaRDD
。Dataset<Row> dataFrame;是否有其他
方法
将数据集转换为javaPairRDD<Long,
浏览 4
提问于2017-05-02
得票数 5
回答已采纳
1
回答
火花流+火花SQL
、
我试过没有结果的DataFrame
方法
..。<Row>,
JavaRDD
<Object>>() { public
JavaRDD
<Object> call(
JavaRDD
<Row> v1) throwstable }); 使用这种
浏览 4
提问于2015-11-11
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark SQL DataFrame与RDD交互
使用 Apache Spark 构建商品推荐引擎
方法研究:理论方法
详解类方法之绑定方法与非绑定方法
在Python中实现同步方法中调用异步方法的方法
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券