我正在尝试将使用Dataframe编写的代码转换为DataSet应用程序接口。问题是我将JavaRDD创建为：但是sqlContext类的createDataset方法需要RDD<T>类型，而不是JavaRDD<T>类型。我想知道如何从'
浏览 4提问于2018-07-14得票数 2
回答已采纳
2回答
我想在java子类中重写这个方法。我不确定这个方法在Java中的等效语法是什么。
def createRecord(rdd: RDD[(String, Array[(String, Int)])])
浏览 4提问于2017-05-17得票数 2
回答已采纳
我试图将独立文件中的数据读取到独立的RDDs中，然后将其转换为DataFrames (使用Java api)。: TestMain$PageView cannot be cast to TestMain$BlacklistedPage at org.apache.spark
浏览 0提问于2018-03-17得票数 0
(RDD.scala:362)at org.apache.spark.api.java.JavaRDD.filter(JavaRDD.scala:78)at FileReader.main(FileRead
浏览 0提问于2018-08-18得票数 2
回答已采纳
import org.apache.commons.lang3.StringUtils;import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java
浏览 1提问于2014-11-25得票数 2
import org.apache.spark.api.java.JavaRDDimport scala.reflect.ClassTagclass TestRDD[T: ClassTag](rdd: RDD[T]) extends JavaRDD(rdd)No ClassTag
浏览 3提问于2016-01-21得票数 8
回答已采纳
1回答
序列化RDD
、、
JavaRDD<String> rdd = sc.textFile(logFile, 4); at org.apache.spark.rdd.RDD.take(RDD</e
浏览 3提问于2015-04-10得票数 4
回答已采纳
1回答
嗨，我在spark 1.6.3中工作。我有一个rdd，里面有一些BigInt scala类型。我如何将其转换为spark数据帧？是否可以在创建数据帧之前转换类型？[_],beanClass: Class[_])org.apache.spark.sql.DataFrame <and>
(rdd: org.apache.spark.api.java.JavaRD
浏览 0提问于2017-10-12得票数 1
我有一个JavaRDD<Tuple2<String, String>>，需要将它转换为JavaPairRDD<String, String>。目前，我只是简单地编写映射函数，然后按原样返回输入元组。
浏览 11提问于2014-11-19得票数 12
回答已采纳
我的程序是用Java编写的。我正在使用spark-streaming-kafka_2.10:1.6.2库来完成这个任务。._2();}); javaFunctions(rdd).writerBuilder("test", "event_log",
浏览 1提问于2016-08-26得票数 11
回答已采纳
现在，我需要分析这些数据，而不需要将其存储到任何database.So中，我想将这个database.So转换为DataSet或DataFrame。;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.streaming.api.
浏览 2提问于2016-12-02得票数 8
回答已采纳
:108) at org.apache.spark.rdd.RDD.withScope(RDD.scala:286) at org.apache.spark.rdd.RDD.map .RDD$$anonfun$map$1.apply(RDD.scala:294)org.apache.spark.api.java.JavaRDDLike$class.map(JavaRDDLike.s
浏览 3提问于2015-11-06得票数 1
| }
(points: org.apache.spark.api.java.JavaRDD[org.apache.spark.mllib.linalg.Vector])org.apache.spark.api.java.JavaRDD[Integer] <and>
浏览 2提问于2014-07-25得票数 0
回答已采纳
(:require [flambo.api :as f])
[ rdd input ]我犯了这个错误这是预期的，因为结果是clojure.lang.Lazy
浏览 6提问于2015-08-25得票数 1
回答已采纳
我有一些sql.Row对象，我希望在Spark1.6.x中将它们转换为DataFrameevents: scala.collection.immutable.Iterable[org.apache.spark.sql.Row[_],beanClass: Class[_])org.apache.spark.sql.DataFrame <and>
(rdd: org.apache.spark.api.java.J
浏览 0提问于2017-10-12得票数 0
我已经从NOSQL数据库创建了RDD，我想将RDD转换为数据帧。我已经尝试了许多选项，但都会导致错误。将RDD转换为Dataframe的最佳方法是什么？[_],beanClass: Class[_])org.apache.spark.sql.DataFrame <and>
(rdd: org.apache.spark.api.java.JavaRDD: org.apache.
浏览 1提问于2016-11-28得票数 0
我需要从另一个成对的RDD生成成对的RDD。基本上，我正在尝试编写一个执行以下操作的map函数。RDD[Polygon,HashSet[Point]] => RDD[Polygon,Integer]Scala函数，遍历HashSet并将"Point“对象的值相加。outCountPerCell(t))found : ((com.vividsolutions.jts.geom.Polygon, <e
浏览 6提问于2017-07-11得票数 0
回答已采纳
1回答
def createDataFrame(rdd: org.apache.spark.api.java.JavaRDD[_],beanClass: Class[_]): org.apache.spark.sql.DataFramedef createDataFrame(rowRDD: org.apache.spark.api.java.JavaRDD[org.apache.spark.sql.Row]
浏览 0提问于2020-07-19得票数 0
回答已采纳
2回答
保存为文本文件：import java.util.ArrayList;;import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.jav
浏览 1提问于2015-06-16得票数 6
我将接收到的输入转换为JavaDSStream的输入事件，然后在inputEvents上执行reducebykeyandWindow并执行spark。, time) -> { JavaRDD<EventData> rowRDD = rdd.map
浏览 0提问于2017-04-10得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号