我正在尝试将JavaRDD<PageRankCase>类转换为DataFrame，以便稍后可以将其保存到parquet文件中，但代码执行在createDataFrame函数调用时停止，当我处理异常时，它会返回这是我的课。return this.node; }}
这就是我试图运行的代码，将这个类<
浏览 18提问于2017-01-28得票数 0
回答已采纳
我正在使用Spark2.1.0。对于下面的代码，它读取文本文件并将内容转换为DataFrame，然后输入到Word2Vector模型中：JavaRDD<String> lines = spark.sparkContext().textFile("i
浏览 3提问于2017-04-23得票数 3
我正在尝试将使用Dataframe编写的代码转换为DataSet应用程序接口。问题是我将JavaRDD创建为：但是sqlContext类的createDatasetabcEncoder= Encoders.bean(Abc.class);
Dataset<Abc&g
浏览 4提问于2018-07-14得票数 2
回答已采纳
我已经从NOSQL数据库创建了RDD，我想将RDD转换为数据帧。我已经尝试了许多选项，但都会导致错误。"subStatus":"Paused"}df: Unit = ()
我尝试将.toDF()添加到代码的末尾将RDD转换为Dataframe的最佳方法
浏览 1提问于2016-11-28得票数 0
我想将spark JavaRdd/ Dataframe / Dataset转换为xml。我已经分析了来自DataBrics的spark-xml，这个repo最后一次发布是在2016年11月(0.4.1版本)，我怀疑它与新版本的DSE和Spark的兼容性。有没有spark-xml的替代品?？
Spark-xml
浏览 4提问于2018-07-10得票数 0
2回答
如何从包含整数的JavaRDD创建DataFrame。我已经做了一些类似下面的事情，但没有工作。List<Integer> input = Arrays.asList(101, 103, 105);DataFrame dataframe = sqlcontext.createDataFrame(inputRDD, Integer.class);
浏览 4提问于2016-03-28得票数 1
我有一个简单的Spark代码，在本地运行时运行得很好，但是当我尝试在Docker上使用Spark独立集群运行它时，它奇怪地失败了。JavaRDD<Row> rddw
浏览 9提问于2018-12-20得票数 1
我刚刚开始使用火花- cassandra连接器，并遇到了以下问题:我有一个部分在cassandra中的数据集，部分在HDFS(相同的模式)中。到目前为止，我掌握的代码如下：JavaRDD cassandraRDD = (JavaRDD)javaFuntions(sc).cassandraTable("foo_ks",&qu
浏览 1提问于2015-05-26得票数 0
回答已采纳
1回答
我有一些sql.Row对象，我希望在Spark1.6.x中将它们转换为DataFrameevents: scala.collection.immutable.Iterable[org.apache.spark.sql.Row>
(rdd: org.apache.spark.api.java.JavaRDD[_],beanClass: Class[_])org.apache.spark.sql.DataFrame</
浏览 0提问于2017-10-12得票数 0
1回答
我正在尝试通过星火流和Spark处理日志。其主要思想是将“旧”数据的“压缩”数据集格式转换为用于查询的“DataFrame”数据集，压缩数据集的加载是通过以下方式完成的：
SQLContext sqlContext = JavaSQLContextSingleton.getInstance我试过没有结果的DataFrame方法..。我还尝试使用RDD转换方法，更具体地说，我尝试遵循星火公园<
浏览 4提问于2015-11-11得票数 2
回答已采纳
我正试图将基于代码的jar打包到databricks笔记本中。下面一行在databricks中工作，但在scala代码中抛出了一个错误：
val spark(rdd: org.apache.spark.api.java.JavaRDD[_],beanClass: Class[_])org.apache.spark.sql.<
浏览 7提问于2021-10-26得票数 2
我正在尝试将一个类型化的rdd转换为行rdd，然后从它创建dataframe。它在我执行代码时抛出异常。代码：JavaRDD<Row> rowRDD = rdd.map((Function<Counter,Row>) RowFactory::create);
//I am using some schema her
浏览 2提问于2016-10-15得票数 2
回答已采纳
我正在尝试从数据列表创建一个DataFrame，并希望在其上应用模式。在Spark Scala文档中，我尝试使用这个接受行列表和模式作为StructType的createDataframe签名。def createDataFrame(rows: List[Row], schema: StructType): DataFrame 下面是我正在尝试的示例代码 import org.apache.spark.sql.types(simpleData,schema) 但是我<e
浏览 36提问于2020-10-01得票数 0
回答已采纳
我正在尝试使用databrick connect在IDE中运行我的databricks笔记本中的一些代码。我似乎想不出如何创建一个简单的数据帧。>
(rdd: org.apache.spark.api.java.JavaRDD[_],beanClass: Class[_])org.apache.spark.sql.DataFrame <and: java.util.List[org.apache.spark.sql.R
浏览 69提问于2021-09-14得票数 0
我尝试将csv文件加载为矢量字符串，然后希望以JavaRDD JavaRDD格式获取数据import org.apache.spark.api.java.JavaRDDnew SparkConf().setAppName("csvparser"); JavaRDD<Strin
浏览 2提问于2016-02-03得票数 1
2回答
我有一个Spark (version 1.3.1)应用程序。在其中，我试图将一个Java bean RDD JavaRDD<Message>转换为Dataframe，它有许多不同数据类型的字段(整数、字符串、列表、地图、双数据)。但是当我在执行我的代码的时候。= SparkConnection.getSqlContext();
DataFrame df = sqlContext.create
浏览 6提问于2015-06-12得票数 0
回答已采纳
1回答
根据新的火花文档，使用星火的DataFrame should be preferred over using JdbcRDD。第一次触摸非常愉快，直到我遇到了第一个问题-- DataFrame没有flatMapToPair()方法。第一个想法是把它转换成JavaRDD，我就这样做了。一切都很好，我用这种方法编写了我的代码，并注意到这样的代码：
JavaRDD<
浏览 4提问于2015-04-21得票数 2
回答已采纳
2回答
但是我在我的eclipse上没有得到这个选项(希望它在新版本的spark上可用)public static void biGram (JavaRDD<String> in) JavaRDD<String> sentence = in.map(s ->
浏览 0提问于2016-05-18得票数 1
我很难将星火示例转换为可运行的代码(正如我之前的问题所证明的)。import org.apache.spark.api.java.JavaRDD;importimport org.apache.<e
浏览 3提问于2015-09-21得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
