2回答
按照的描述，我正在从Mongo加载一个bson转储到Spark中。它是有效的，但我得到的是：它基本上应该是包含所有String字段的JSON。我的其余代码需要一个DataFrame对象来操作数据。但是，当然，toDF在该RDD上失败了。如何将其转换为所有字段均为String的Spark DataF
浏览 1提问于2016-10-04得票数 1
如何将RDD (org.apache.spark.rdd.RDD[org.apache.spark.sql.Row])转换为数据帧org.apache.spark.sql.DataFrame。我使用.rdd将数据帧转换为rdd。在处理之后，我想把它放回数据帧中。我该怎么做呢？
浏览 56提问于2015-04-01得票数 150
回答已采纳
scala> val scaledDataOnly_pruned = scaledDataOnly.select("features")|[-0.0948337274182...||[-0.0948337274182...|直接转换为RDD会生成一个org.apache.spar
浏览 0提问于2015-10-10得票数 10
我有一个星火DataFrame：我必须使用Scala从中计算平均精度。我想，根据文档，我们必须使用RDD而不是DataFrame。/ It gave Array[(Any, Any)]
// df_rdd is org.apache.spark.rdd.RDD[(Any, Any)]
val metrics = new RankingMet
浏览 5提问于2021-06-17得票数 0
Pbm：
a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。
浏览 0提问于2015-04-15得票数 4
我正在尝试将每个worker节点(每个元素都是Pandas DataFrame的RDD )上的Pandas DataFrame转换为跨所有worker节点的Spark DataFrame。data
rdd = sc.parallelize(filelist)
rdd = rdd
浏览 31提问于2019-06-05得票数 0
回答已采纳
我已经从NOSQL数据库创建了RDD，我想将RDD转换为数据帧。我已经尝试了许多选项，但都会导致错误。将RDD转换为Dataframe的最佳方法是什么？<and> (rdd
浏览 1提问于2016-11-28得票数 0
1回答
嗨，我在spark 1.6.3中工作。我有一个rdd，里面有一些BigInt scala类型。我如何将其转换为spark数据帧？是否可以在创建数据帧之前转换类型？<and> (rdd: or
浏览 0提问于2017-10-12得票数 1
目前，我正在将Cassandrarow RDD转换为dataframe：}
正如您所看到的，我首先将cassandraRow rdd转换为string，然后映射到我想要的格式。我发现这个方法变得很复杂，因为rdd包含多个颜色，而不是一个
浏览 5提问于2017-05-30得票数 0
回答已采纳
StructField("event_timestamp", StringType, true),))
.enableHiveSupport() .getOrCreate()
var transaction=spark.createDataFrame
浏览 4提问于2022-06-25得票数 0
回答已采纳
1回答
我需要他们直接转换从一个实质性的RDD。如何将dataframe/普通的RDD转换为正确的类型？
val vertex: RDD[(VertexIdsc.parallelize((vertexDF("ID"), vertexDF(
浏览 1提问于2019-02-11得票数 2
1回答
我有一个名为tuppleSlides的2d格式的列表：我创建了以下模式： Array( StructField("2", Intege
浏览 2提问于2016-12-15得票数 2
回答已采纳
1回答
我一直在尝试将RDDs转换为DataFrames格式，然后再转换回来。首先，我有一个类型为(Int，Int)的RDD，名为dataPair。然后，我使用以下命令创建了一个带有列标题的DataFrame对象：然后，我使用以下命令将其从DataFrame转换回RDD：它返回org.apache.
浏览 1提问于2016-05-04得票数 11
回答已采纳
我已经和Scala 2.12一起使用过Spark 3.1.2了。我想在节点之间并行一些键，它们根据接收到的键来读取数据。因此，我必须先使用RDD，然后再将其转换为Spark DataFrame。但是，我无法将RDD转换为Spark DataFrame并收到以下错误： overloaded method value createDataFrame with alternatives:
浏览 6提问于2021-09-26得票数 1
声称Spark中的DataFrame等同于Dataset[Row]，但是显示DataFrame有一个模式。以博客文章中关于将RDD转换为DataFrame的例子:如果DataFrame与Dataset[Row]相同，那么将RDD转换为DataFrame应该是一样简单的。val rddToDF = rdd.map(value => Row(value))val rddStri
浏览 0提问于2016-10-07得票数 6
回答已采纳
1回答
我看了一下“createDataFrame”()中的pyspark源代码，它们似乎将数据转换为numpy记录数组，并将其转换为列表：但是，时间戳类型在此过程中转换为一个longs列表：
> df = pd.DataFrame(pd.date_range(start=datetime.datetime.now使用datetime库将long转换为时间戳。假设tstampl是输入: ts
浏览 2提问于2017-07-25得票数 5
我是新手/仍在学习Apache Spark/Scala。我正在尝试分析一个数据集，并已将该数据集加载到Scala中。但是，当我尝试执行基本分析时，例如最大值、最小值或平均值，我得到一个错误- error: value select is not a member of org.apache.spark.rdd.RDD我在一个组织的云实验室上运行Spark。代码： // Reading in the csv file
val df = sc.textFile(&qu
浏览 25提问于2020-04-15得票数 0
1回答
以下代码适用于Spark1.6，但对2.0.1不起作用： val sqlContext = df.sqlContext[(String, String, Double)])org.apache.spark.sql.Dataset[(String, String, Double)].df.map { case Row(userId: String, itemId: String, count: Double) =>
浏览 2提问于2017-06-01得票数 0
1回答
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:242) at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame
浏览 21提问于2017-04-20得票数 3
1回答
不支持toDF()
、、、、
我正在尝试将Iterable[dataSet[Row]]转换为数据帧。这对我不起作用。以下是代码 def execute(spark: SparkSession, execParams:Map[String, String]): Dataset[Row] = {
val spark: SparkSession = SparkSession.builder.master("local
浏览 22提问于2020-04-17得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
