Spark:如何将数据帧Array[String]更改为RDD[Array[String]]

文章/答案/技术大牛

发布

2回答

arrays、scala、apache-spark

我以DataFrame array<string>的身份处理事务我想将其更改为RDD[Array[string]]，但是当我将其更改为RDD时，它被更改为org.apache.spark</e

浏览 14提问于2017-01-11得票数 1

0回答

从RDD中提取RDD[(Array[String]) [(String，Array[String]) [Spark/scala]

scala、apache-spark、extract、rdd

我有这个问题，我有一个RDD[(String，ArrayString)，我想从中提取一个包含按键分组的值的RDD[ArrayString]：val x :RDD[(String, Array[String]) = (a, Array[ "ta", "

浏览 1提问于2017-06-06得票数 0

1回答

将Spark数据帧Array[String]更改为Array[Double]

scala、apache-spark、apache-spark-sql

浏览 70提问于2021-04-08得票数 1

回答已采纳

1回答

Spark:要转换为dataframe的rdd格式

scala、apache-spark

假设我有以下rdd：我想使用.write.format("com.databricks.spark</em

浏览 0提问于2016-09-28得票数 0

1回答

将包含BigInt的RDD转换为Spark数据帧

scala、apache-spark、apache-spark-sql、spark-dataframe、scala-collections

嗨，我在spark 1.6.3中工作。我有一个rdd，里面有一些BigInt scala类型。我如何将其转换为spark数据帧？是否可以在创建数据帧之前转换类型？我的rdd： Array[(BigInt, String, String, BigInt, BigInt, BigInt, BigInt, List[String])] = Array(

浏览 0提问于2017-10-12得票数 1

2回答

Scala中org.apache.spark.rdd.RDD[((String，Double)，(String，Double))] to Dataframe

scala

我正在学习Scala/Spark。在Scala中，很少有groupby操作会导致下面的rdd。现在，我正在尝试将以下内容写入sql dataframe并将其保存在hadoop中。但是，在将其写入sql dataframe时，它会转换为Array[((String, Double), (String, Double))] = Array(((Veterans

浏览 14提问于2018-02-25得票数 0

回答已采纳

1回答

我有一个数据帧，看起来像这样： +--------------------+-----------------++-, 12949, 71...| [1589]| |[12949, 12949, 71...| [11497]| evaluation_ds:org.apache.spark.sql.Dataset[docCompare] = [recommendations: array, relevan

浏览 31提问于2019-03-02得票数 0

回答已采纳

1回答

Spark:如何将rdd.RDD[String]转换为rdd.RDD[(Array[Byte]，Array[Byte])]

scala、hadoop、apache-spark

我正在使用spark读取压缩文件这为我提供了RDD[string]形式的数据。如何在scala中将其转换为RDD[(Array[Byte], Array[Byte])]？我在spark上使用terasort。Teravalidate需要RDD[(Array[Byte], Array[Byte])]格

浏览 3提问于2016-10-26得票数 0

1回答

如何将Spark数组[(String，Array[String])]拆分为单个rdd

scala、apache-spark、rdd

我想将下面的RDD分割成一个RDD(id,(all name same type))。>val test = rddByKey.map{case(k,v)=> (k,v.collect())} (45000,Array(Amit, Pavan, Ratan)), (10000,Array(Kumar, Venka

浏览 0提问于2018-03-13得票数 1

回答已采纳

1回答

spark和scala中的RDD到DataFrame

dataframe、scala、apache-spark、rdd

def main(args: Array[String]): Unit = { .builder() <e

浏览 5提问于2022-10-19得票数 0

回答已采纳

1回答

星星之火:将dataframe转换为mllib矩阵

scala、apache-spark、apache-spark-mllib

我正在尝试转换一个巨大的数据帧(100Mx20K)。由于数据分散在多个节点上，并且很难在驱动程序上收集，所以我想通过mllib矩阵进行转换。(array(matrixColumns:_*).as("arr")).as[Array[Int]].rdd .map{ case(arr, index) =>modified: val rdd = df.select(Array(matri

浏览 3提问于2022-09-04得票数 0

回答已采纳

2回答

将文本文件加载到Spark上下文时跳过缺少字段的行

scala、apache-spark、csv

我需要将一个制表符分隔的文件加载到Spark上下文中。但是，有些字段缺少值，我需要过滤掉这些行。我正在使用下面的代码。但是，如果完全缺少该字段(例如，行中少了一个制表符)，则此代码将抛出异常。val RDD = sc.textFile("file.txt").map(_.split("\t")).filter(_(1).nonEmpty) .filter

浏览 14提问于2016-08-10得票数 0

回答已采纳

2回答

如何处理spark中的错误SPARK-5063

scala、apache-spark

我在println行得到错误消息SPARK-5063 println(m.lookup(x(i)))}D是RDD[Array[String]]，m是RDD[(String, String)]。或者如何将d从RDD[Array[String]]转换为Array[Str

浏览 0提问于2015-04-23得票数 10

回答已采纳

1回答

DataFrame :将列中的数组转换为RDD[Array[String]]

apache-spark、dataframe、apache-spark-sql

给定一个数据帧：|key| value||foo| bar|+---+----------+val transactions: RDD[Array[String]] = df.select("value").<

浏览 14提问于2017-01-29得票数 0

回答已采纳

1回答

从RDD元组中提取嵌套值

apache-spark

以下代码片段： import org.apache.spark.sql.functions.input_file_name .rdd val rdd2 = rdd.map(line => (line._1, line._2.split(","))) 返回： rdd</e

浏览 28提问于2019-05-21得票数 1

回答已采纳

2回答

如何将kafka流转换为spark RDD或Spark Dataframe

scala、apache-spark、apache-kafka、spark-streaming

我试着从Kafka加载数据，成功了，但我无法转换为spark RDD，val offsetRanges = Array( ) val ssc = new StreamingContext(new SparkConf, Seconds(60)

浏览 1提问于2016-02-03得票数 2

1回答

Spark 2.3:读取rdd.map()中的数据帧

scala、dataframe、apache-spark

我希望使用.map()遍历RDD的每一行，并希望在映射函数中使用数据帧，如下所示： val rdd = ... // rdd holding seq of ids in each row .map { case Row(listOfStrings: Seq[String</em

浏览 13提问于2021-01-17得票数 0

回答已采纳

3回答

斯帕克-Scala中将Dataset[Row]转换为RDD[Array[String]]的最佳方法？

scala、apache-spark、apache-spark-sql、rdd、apache-spark-dataset

我正在创建一个火花数据集通过读取一个csv文件。此外，我需要将这个DatasetRow转换为RDD[ArrayString]，以便将它传递给FpGrowth(Spark )。val df: DataFrame = spark.read.format("csv").option("header", "true").load("/path/to/csv") val ds: Dataset[Row] = df.group

浏览 8提问于2021-01-08得票数 3

回答已采纳

1回答

如何在scala中实现avro到GenericRecord的数据帧转换

scala、apache-spark

我陷入了将avro数据帧转换为GenericRecord/ByteArray的困境，在那里我在google上冲浪，他们为我提供了相反的解决方案。有人尝试过在scala中将AVRO RDD/Dataframe转换为GenericRecord或ByteArray吗？它会像这样返回给我数据帧。res0: org.apache.

浏览 4提问于2017-10-16得票数 0

1回答

无法在星火中将数组RDD隐藏到列表RDD中

apache-spark

如何将ArrayString RDD转换为ListString RDD？scala> val linesRDD = sc.textFile("/user/inputfiles/records.txt") scala&g

浏览 4提问于2016-08-25得票数 2

回答已采纳

点击加载更多