从RDD中提取RDD[(Array[String]) [(String，Array[String]) [Spark/scala]

文章/答案/技术大牛

发布

0回答

scala、apache-spark、extract、rdd

我有这个问题，我有一个RDD[(String，ArrayString)，我想从中提取一个包含按键分组的值的RDD[ArrayString]：val x :RDD[(String, Array[String]) = (a, Array[ "ta&quo

浏览 1提问于2017-06-06得票数 0

1回答

在调用scala类方法以逗号拆分字符串时，Spark失败

scala、apache-spark

class StringSplit(val query:String) def getStrSplit(rdd:RDD[String]):RDD[String]={}我试图调用这个类中的方法，例如val st

浏览 1提问于2015-08-26得票数 1

回答已采纳

1回答

Apache火花过滤器

scala、apache-spark

Exception in thread "main" java.lang.UnsupportedOperationException: empty collection at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationSc

浏览 0提问于2018-10-18得票数 0

回答已采纳

1回答

将数组类型的列处理为udf时的Spark - java.lang.ClassCastException [数组[Map[String，String]

scala、apache-spark、apache-spark-sql、user-defined-functions

我连接了Array[Map[String,String]]类型的spark中的两个列，生成了一个新的Array[Array[Map[String,String]]]类型的列。但是，我希望将该列展平，以获得一个Array[Map[String,String]]类型的列，其中包含两个原始列的值我从Spark2.4中读到，可以直接在

浏览 30提问于2020-12-24得票数 0

回答已采纳

1回答

将已保存的文本文件从星火程序读取到另一个

scala、apache-spark

我编写了一个Spark程序，它接收一些输入，对数据执行各种操作，在处理结束时，我有一个processedData的类型是RDD[( Key，ListData现在，在我刚刚开始编写的另一个程序中，我开始对我的输出进行一些统计分析，首先：然而，我的IDE (正确地)认为groupedData是RDDString类型的告诉编译器/IDE groupedData是RDD[(

浏览 4提问于2015-07-20得票数 1

回答已采纳

1回答

串行化星火的Scalaz订单

scala、serialization、apache-spark、scalaz

在本例中，我尝试使用类型类来自定义排序星火中的数组。在一个不太完美的例子中，我愿意考虑其他的实现。如果发生这种情况，则必须以可操作和可扩展的方式保持自定义排序和不同的实现。

浏览 6提问于2016-12-21得票数 2

回答已采纳

1回答

在spark: org.apache.spark.SparkException: Task中使用scala的函数或类不可序列化

scala、class、apache-spark

我刚刚开始学习scala和spark。这里有一个关于scala函数和类的问题：scala> class MyClass extends Serializable { |def doStuff(rdd: RDD[Str

浏览 0提问于2016-05-24得票数 0

1回答

我对Spark和Scala还不熟悉，所以我有一个非常基本的问题。我有Spark1.5.2和Scala2.10.4。我创建了一个配置，允许我在使用spark-shell命令启动--config时直接从ES中以JSON的形式获取一些数据；我还导入了elasticsearch-hadoop的--jar。就会得到以下结果： res9: Class[_ <: org.apache.spark.rdd.RDD[(S

浏览 3提问于2017-05-11得票数 0

回答已采纳

1回答

如何将RDD[List[String]]转换为RDD[String]

scala、apache-spark

我在scala中有一个场景，需要将RDD[List[String]]转换为RDD[String]。@eric，我能知道为什么这个问题不是主题吗？

浏览 0提问于2017-06-10得票数 0

2回答

值联接不是org.apache.spark.rdd.RDD的成员

scala、apache-spark

我得到了这个错误： org.apache.spark.rdd.RDD[(Long, (Int, (Long, String, Array[_0])))我找到的唯一建议是import org.apache.spark.SparkContext编辑:更改代码以消除forSome (即，当对象的类型为o

浏览 1提问于2015-03-26得票数 4

回答已采纳

1回答

如何将数组中的每个元素转换为星火中的数组

scala、apache-spark

给定具有多行的数据集：如何在火花中产生成果： Array(Array(Array(0),Array(1),Array(2)),Array(Array(7),Array(8),Array(9)), Array(Array(18),Array(19),Array(5))

浏览 2提问于2017-07-18得票数 0

回答已采纳

2回答

Array[Byte] Spark字符串Spark

scala、apache-spark、hbase

我使用Cloudera的SparkOnHBase模块从HBase获取数据。我用这种方式得到了一个RDD：基于此，我得到的是一个类型的对象。RDD[(Array[Byte], List[(Array[Byte], Array[Byte], Array[Byte])])] 它对应于行键和值列表。它们都由一个字节数组表示。，

浏览 4提问于2015-10-21得票数 1

回答已采纳

2回答

星星之弹Scala* XML如何连接属性*

scala、apache-spark

我试图用逗号分隔符连接Scala中的XML属性。scala> val fileRead = sc.textFile("source_file") fileRead: org.apache.spark.rdd.RDD[String] = source_filestrLines: org.apache.spark.rdd.RDD[String] = MapPartitionsR

浏览 1提问于2015-12-09得票数 0

回答已采纳

2回答

distinct和map的调用一起在spark库中抛出NPE

scala、nullpointerexception、apache-spark

我不确定这是不是一个bug，所以如果你这样做d.distinct().map(x => d.filter(_.equals(x))) 您将获得一个Java

浏览 1提问于2012-12-08得票数 7

回答已采纳

2回答

如何将双倍数组转换为RDD[String]

scala、apache-spark、rdd

我需要将Array[Array[Double]]转换为RDD，例如将[[1.1, 1.2 ...], [2.1, 2.2 ...], [3.1, 3.2 ...], ...]转换为val testData = spark.sparkContexttestDensit

浏览 6提问于2017-03-24得票数 3

回答已采纳

1回答

如何从scala星火壳Array[String]读取字符串

scala

我被困在一个需要使用Scala的ArrayString来阅读fileRead: org.apache.spark.rdd.RDD(x => x.toString) strLines: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[9] at map

浏览 1提问于2015-12-08得票数 2

回答已采纳

1回答

将RDD的值替换为另一个

scala、apache-spark、rdd

val rdd1 = sc.textFile(dataset1).flatMap(l => l.split(","))val result = rdd1.zip(rdd2).map( x => if(x._1 == "0") x._2 else x._1) 我得到的输出是RDDString但是我需要RDD[A

浏览 3提问于2016-04-28得票数 0

回答已采纳

4回答

在Spark/Scala中将RDD转换为Dataframe

scala、hadoop、apache-spark

RDD是以Array[Array[String]]格式创建的，具有以下值：Array("4580056797", "0"> val rowRDD = rdd.map(p => Array(p(0), p(1), p(2),p(3),p(4),p(5)

浏览 8提问于2015-10-14得票数 6

回答已采纳

1回答

抛出任务不可串行化

scala、apache-spark

def main(args: Array[String]): Unit = { .builder:112) at org.apache.spark.rdd.PairRDDFunctions.combi

浏览 1提问于2020-03-04得票数 1

2回答

运行在星火阵上的Scala函数是否并行化？

scala、apache-spark

要将函数映射到RDD的所有元素，需要首先使用collect方法将RDD转换为Array类型：x: org.apache.spark.rdd.RDD[List[String]] = ParallelCollectionRD

浏览 3提问于2014-05-21得票数 2

回答已采纳

点击加载更多