将RDD转换为DataFrame时的java.lang.StackOverFlowError
是一个常见的错误，它表示在转换过程中发生了堆栈溢出。这个错误通常是由于数据量过大或者转换操作过于复杂导致的。
在解决这个问题之前，我们需要了解RDD和DataFrame的概念和特点。
RDD（Resilient Distributed Datasets）是Spark中最基本的数据抽象，它是一个不可变的分布式对象集合，可以在集群上并行操作。RDD具有容错性和可恢复性，可以在节点故障时自动恢复。
DataFrame是一种以RDD为基础的分布式数据集，它以表格形式组织数据，并且具有优化的执行计划。DataFrame提供了更高级的数据操作接口，可以通过SQL查询、DataFrame API或者使用第三方库（如Spark SQL、Pandas等）进行数据处理和分析。
当将RDD转换为DataFrame时，Spark会尝试推断数据的结构和模式，并将其转换为表格形式。然而，如果数据量过大或者转换操作过于复杂，就可能导致堆栈溢出错误。
为了解决这个问题，我们可以采取以下几种方法：
- 增加堆栈大小：可以通过设置JVM参数来增加堆栈大小，例如使用
-Xss参数来增加堆栈大小。但是这种方法并不是最佳解决方案，因为增加堆栈大小可能会导致其他问题。 - 减少数据量：如果数据量过大，可以考虑对数据进行分片或者采样，以减少数据量。可以使用RDD的
sample方法进行采样，或者使用repartition方法对数据进行分片。 - 优化转换操作：如果转换操作过于复杂，可以尝试优化代码逻辑，减少转换的复杂度。可以使用Spark提供的一些优化技术，如使用广播变量、使用累加器等。
- 使用Spark SQL：如果可能的话，可以尝试使用Spark SQL来进行数据处理和分析，因为Spark SQL对于大规模数据的处理和优化有着更好的支持。
腾讯云提供了一系列与Spark相关的产品和服务，包括云服务器、云数据库、云存储等。您可以根据具体需求选择适合的产品。以下是一些相关产品和介绍链接：
- 云服务器（CVM）：提供弹性计算能力，支持快速创建和管理虚拟机实例。链接：https://cloud.tencent.com/product/cvm
- 云数据库（TencentDB）：提供高性能、可扩展的数据库服务，包括关系型数据库（MySQL、SQL Server等）和NoSQL数据库（MongoDB、Redis等）。链接：https://cloud.tencent.com/product/cdb
- 云存储（COS）：提供安全可靠的对象存储服务，可用于存储和管理大规模的非结构化数据。链接：https://cloud.tencent.com/product/cos
请注意，以上仅为示例产品，具体选择应根据实际需求和情况进行。同时，还可以参考腾讯云官方文档和帮助中心获取更多关于产品和服务的详细信息。
相关·内容
我以DataFrame array<string>的身份处理事务
transactions: org.apache.spark.sql.DataFrame = [collect_set(b): array<string>]
我想将其更改为RDD[Array[string]]，但是当我将其更改为RDD时，它被更改为org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]
val sam: RDD[Array[String]] = transactions.rdd
<console>:42: error: type m
浏览 14提问于2017-01-11得票数 1
我正在尝试将每个worker节点(每个元素都是Pandas DataFrame的RDD )上的Pandas DataFrame转换为跨所有worker节点的Spark DataFrame。 示例： def read_file_and_process_with_pandas(filename):
data = pd.read(filename)
"""
some additional operations using pandas functionality
here the data is a pandas dataframe, and
浏览 31提问于2019-06-05得票数 0
回答已采纳
4回答
我有一个包含10个字段的数据集。我需要在这些DataFrame上执行RDD操作。是否可以执行map、flatMap等RDD操作。
下面是我的示例代码：
df.select("COUNTY","VEHICLES").show();
这是我的dataframe，我需要将这个dataframe转换成RDD，并在这个新的RDD上操作一些RDD操作。
下面是我如何将dataframe转换为RDD的代码
RDD<Row> java = df.select("COUNTY","VEHICLES").rdd();
转换为RDD后，我
浏览 2提问于2016-12-14得票数 0
我有以下Scala值： val values: List[Iterable[Any]] = Traces().evaluate(features).toList 我想把它转换成DataFrame。 当我尝试以下操作时： sqlContext.createDataFrame(values) 我得到了这个错误： error: overloaded method value createDataFrame with alternatives:
[A <: Product](data: Seq[A])(implicit evidence$2: reflect.runtime.universe
浏览 159提问于2016-06-28得票数 38
回答已采纳
出于某种原因，我必须将RDD转换成dataframe，然后用dataframe做一些事情，但是我的接口是RDD，所以我必须将dataframe转换为RDD，当我使用df.rdd时，分区更改为1，所以我必须使用repartition和sortBy RDD，有更干净的解决方案吗?谢谢！这是我的尝试：
val rdd=sc.parallelize(List(1,3,2,4,5,6,7,8),4)
val partition=rdd.getNumPartitions
val sqlContext = new SQLContext(m_sparkCtx)
import s
浏览 1提问于2017-06-06得票数 0
回答已采纳
嗨，我是相对较新的阿帕奇火花。我想了解RDD、dataframe和数据集之间的区别。
例如，我从s3桶中提取数据。
df=spark.read.parquet("s3://output/unattributedunattributed*")
在这种情况下，当我从s3加载数据时，什么是RDD？另外，由于rdd是不可变的，所以我可以更改df的值，这样df就不能是RDD。
感谢有人能解释RDD、dataframe和数据集之间的区别。
浏览 1提问于2019-08-20得票数 2
我正在尝试将数据转换为RDD。我的DataFrame有键入的列，如下所示：
df.printSchema
root
|-- _c0: integer (nullable = true)
|-- num_hits: integer (nullable = true)
|-- session_name: string (nullable = true)
|-- user_id: string (nullable = true)
当我使用df.rdd将其转换为rdd时，我得到了一个Array[org.apache.spark.sql.Row]类型的rdd，但是当我使用rdd(0)(0)、rd
浏览 2提问于2017-04-26得票数 2
回答已采纳
根据我所读到的，RDD不能像DataFrame那样利用Spark对结构化数据的优化优势，在处理非结构化数据源时我们应该使用RDD，同时处理数据库中的表时我们应该使用DataFrame吗？像json这样的半结构化数据怎么样？我们应该采用哪种抽象？RDD还是DataFrame？
浏览 1提问于2020-06-07得票数 1
回答已采纳
我感到困惑的是，为什么在将得到的rdd.mapPartitions转换为DataFrame时，Spark似乎使用了1任务。
这对我来说是个问题，因为我想从以下几个方面着手：
DataFrame -> RDD --> rdd.mapPartitions --> DataFrame
这样，我就可以读取数据( DataFrame )，将非SQL函数应用于数据块(mapPartitions on RDD)，然后转换回DataFrame，以便我可以使用DataFrame.write进程。
我可以从DataFrame -> mapPartitions开始，然后使用像saveAsTe
浏览 4提问于2016-11-22得票数 17
回答已采纳
我不知道这问题是否较早前提出。可能是一个可能的复制，但我无法找到坚持这样做的用例。
如我们所知，我们可以直接将csv文件加载到dataframe，并可以将其加载到RDD中，然后稍后将该RDD转换为dataframe。
RDD = sc.textFile("pathlocation")
我们可以在此RDD上应用一些Map、filter和其他操作，并将其转换为数据格式。
此外，我们还可以创建直接读取csv文件的dataframe。
Dataframe = spark.read.format("csv").schema(schema).option("head
浏览 0提问于2018-11-29得票数 0
回答已采纳
我想将pyspark.sql.dataframe.DataFrame转换为pyspark.rdd.RDD[String]
我将DataFrame df转换为RDD data
data = df.rdd
type (data)
## pyspark.rdd.RDD
新的RDD data包含Row
first = data.first()
type(first)
## pyspark.sql.types.Row
data.first()
Row(_c0=u'aaa', _c1=u'bbb', _c2=u'ccc', _c3=u'ddd&#
浏览 2提问于2016-02-17得票数 8
回答已采纳
1回答
我有一个文本文件与以下格式。
id##name##subjects$$$
1##a##science
english$$$
2##b##social
mathematics$$$
我想创建一个像DataFrame这样的
id | name | subject
1 | a | science
| | english
当我做这个Scala时，我只得到RDD[String]。如何将RDD[String]转换为DataFrame
val rdd = sc.textFile(fileLocation)
val a = rdd.reduce((a, b) => a +
浏览 0提问于2018-10-28得票数 0
回答已采纳
1回答
这是否可以将anotherMethod传递给myMethod的函数的签名转换为元组？：
def myMethod(df: DataFrame, str: String, type: String, anotherMethod: DataFrame => RDD[Array[Byte]]): Unit = {}
我对scala相当陌生，我不知道如何将字节数组转换为Tuple：yetAnotherMethod : DataFrame => RDD[(String, Array[Byte])]
谢谢
浏览 0提问于2018-10-22得票数 1
回答已采纳
在pyspark中给出一个RDD，我想创建一个新的RDD，它只包含它的前n项(副本)，如下所示： n=100 rdd2 = rdd1.limit(n) 除了RDD没有像DataFrame那样的方法limit()。 注意，我不想收集结果，结果必须仍然是RDD，因此我不能使用RDD.take()。 我使用的是pyspark 2.44。
浏览 19提问于2019-10-13得票数 0
回答已采纳
在星火中使用Scala -当我们必须将RDDRow转换为DataFrame时。为什么我们必须将RDDRow转换为元组的case类或RDD，以便使用rdd.toDF() --任何没有为RDDRow提供的特定原因
object RDDParallelize {
def main(args: Array[String]): Unit = {
val spark:SparkSession = SparkSession.builder().master("local[1]")
.appName("learn")
.getOrCreate()
val abc
浏览 8提问于2022-09-11得票数 0
回答已采纳
我有一个person对象，如下所示：
Person person = new Person(); person.setPersonId("10"); person.setAge(20);
我想使用Spark将其保存在HDFS中。可以通过spark中DataFrame类的保存方法来实现，如下所示：
dataFrame.save("hdfs://localhost:9000/sample.json");
但是我还没有找到任何将实体对象转换为RDD或DataFrame的方法
有没有办法将实体对象转换成RDD或DataFrame？
浏览 1提问于2015-06-17得票数 3
1回答
我正在尝试使用以下命令获取数据帧的分区数量：
df.rdd.getNumPartitions.toString
但当我监视spark日志时，我发现它会旋转许多阶段，这是一项代价高昂的操作。
据我所知，dataframe通过元数据向rdd添加了一个结构层。那么，为什么在转换到rdd时剥离它会花费这么多时间呢？
浏览 25提问于2020-05-20得票数 3
回答已采纳
我使用DataFrame读取.parquet文件，但不是将它们转换为rdd来完成我想要对它们进行的正常处理。
所以我有我的档案：
val dataSplit = sqlContext.parquetFile("input.parquet")
val convRDD = dataSplit.rdd
val columnIndex = convRDD.flatMap(r => r.zipWithIndex)
即使当我从dataframe转换为RDD时，也会得到以下错误：
26:错误:值zipWithIndex不是org.apache.spark.sql.Row的成员
浏览 1提问于2015-07-21得票数 1
回答已采纳
如何在Spark Streaming中将RDD转换为DataFrame，而不仅仅是在Spark中
我看过这个例子，但它需要SparkContext。
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
rdd.toDF()
在我的例子中，我使用StreamingContext。然后我应该在foreach中创建SparkContext吗？它看起来太疯狂了..。那么，如何处理这个问题呢？我的最终目标(如果它可能有用的话)是使用rdd.toDF.write.format("json").saveAsTe
浏览 0提问于2016-10-12得票数 6
回答已采纳
我是个火花初学者。我有一个如下所示的DataFrame，我想转换成一对RDD(String，String)。感谢你的任何投入。
DataFrame:
col1 col2 col3
1 2 3
4 5 6
Pair RDD:
(col1, 1)
(col2, 2)
(col3, 3)
(col1, 4)
(col2, 5)
(col3, 6)
浏览 4提问于2021-11-18得票数 0
1回答
熊猫到RDD
、、、、
我可以将Pandas DataFrame转换为RDD吗？
if isinstance(data2, pd.DataFrame):
print 'is Dataframe'
else:
print 'is NOT Dataframe'
是DataFrame
下面是尝试使用.rdd时的输出
dataRDD = data2.rdd
print dataRDD
AttributeError Traceback (most recent call last)
<ipython-input-56-7
浏览 7提问于2015-08-19得票数 12
2回答
我有下面的RDD，很多都很像：
val csv = sc.parallelize(Array(
"col1, col2, col3",
"1, cat, dog",
"2, bird, bee"))
我想将RDD转换为dataframe，其中模式是基于RDD的第一行以动态/编程方式创建的。
我希望将逻辑应用于多个类似的RDDs，并且不能使用case类以编程方式指定模式，也不能从一开始就使用spark-csv将数据作为dataframe加载。
我已经创建了一个扁平化的dataframe，但是我想知道在创建dataframe时如何拆分相应
浏览 1提问于2019-11-19得票数 0
我试着创建Apache Spark dataframe
val valuesCol = Seq(("Male","2019-09-06"),("Female","2019-09-06"),("Male","2019-09-07"))
valuesCol: Seq[(String, String)] = List((Male,2019-09-06), (Female,2019-09-06), (Male,2019-09-07))
模式
val someSchema = List(StructField
浏览 8提问于2019-09-19得票数 0
回答已采纳
我有一个包含字符串的列的dataframe。当我调用函数时：
df = spark.read.csv(path, header=True).show()
但是，当我打印时，我得到了正确的“视图”
print("dataframe as a RDD object (list of Row objects):\n\t", df.collect())
结果是带有unicode符号字符串，如u'mystring'
我该如何解决这个问题呢？
浏览 11提问于2019-12-02得票数 1
回答已采纳
我正在使用Spark 2.0 Scala。我可以使用toDF()方法将RDD转换为DataFrame。 val rdd = sc.textFile("/pathtologfile/logfile.txt")
val df = rdd.toDF() 但在我的生命中，我找不到它在API文档中的位置。它不在RDD之下。但它是在DataSet (link 1.然而，我有一个RDD，而不是一个DataSet。 在隐含(link 2)下我也看不到它。 所以请帮助我理解为什么可以为我的RDD调用toDF()。这个方法是从哪里继承的？
浏览 142提问于2016-08-16得票数 21
回答已采纳
我有以下代码:-
val kafkaStream = KafkaUtils.createStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics, StorageLevel.MEMORY_AND_DISK_SER)
val collection = kafkaStream.map(_._2).map(parser)
collection.foreachRDD(rdd =>
{
if (!rdd.partitions.isEmpty) {
浏览 0提问于2018-07-02得票数 0
回答已采纳
1回答
我有2个以下格式的RDDS
RDD1 178,1
156,1
23,2
RDD2
34
178
156
现在我想根据rdd2中的值来过滤rdd1，也就是说，如果178出现在rdd1和rdd2中，那么它应该从rdd1中返回这些元组。
我试过了
val out = reversedl1.filter({ case(x,y) => x.contains(lines)})
其中lines是我的第二个rdd，reversedl1是第一个，但它不起作用
我也试过了
val abce = r
浏览 0提问于2017-09-22得票数 0
1回答
从主RDD创建RDD
、、、
我有一个RDD (RDD[(String，IterableEvent)]，它有一个键，表示一年中的一个月，值是该月发生的数百万个事件。
我想遍历每个键，并创建键事件的RDD。然后，我想为当月事件的每一天创建一个event RDD，这样我就可以将它们发送到相关的s3位置(“目录”结构是bucketName/year/month/ day )。
问题是，似乎你不能在另一个RDD的foreach中创建RDD。因此，我不确定如何在不将整个主RDD加载到内存中的情况下实现我想要的东西(这肯定会耗尽驱动程序的内存，并在一开始就失去使用Spark的意义)。
也许有一种方法可以使用Spark来实现我想要的东西
浏览 0提问于2019-03-20得票数 0
在下面的方法中，我尝试对输入Iterable进行聚合操作，并输出不同的Iterable对。为此，我创建了一个RDD，定义了模式，然后从RDD创建了DataFrame。
//Create a Row RDD
val recordRDD = sc.makeRDD(tuples.toSeq).map(locTempRow)
//Create the Schema for the DataFrame
val schema = StructType(List(
StructField("lat", DoubleType, nullable = tru
浏览 1提问于2017-04-22得票数 1
回答已采纳
我想知道为什么在星火，我们不被允许广播RDD，但我们可以广播DataFrame？
val df = Seq(("t","t"),("t","f"),("f","t"),("f","f")).toDF("x1", "x2")
val rdd = df.rdd
val b_df = spark.sparkContext.broadcast(df) //you can do this!
val b_rdd = spark.sparkConte
浏览 233提问于2018-08-09得票数 0
回答已采纳
我有一个包含以下数据的Spark数据帧(我使用spark-csv加载数据)：
key,value
1,10
2,12
3,0
1,20
有没有类似于spark RDD reduceByKey的东西，它可以返回Spark DataFrame为：(基本上，对相同的键值进行求和)
key,value
1,30
2,12
3,0
(我可以将数据转换为RDD并执行reduceByKey操作，但是有没有更好的Spark DataFrame API方法呢？)
浏览 1提问于2015-12-13得票数 11
回答已采纳
我有一个Scala程序，它使用REST逐批获取数据，一旦检索到所有数据，我就对它们进行操作。
当前程序：
对于每个批处理，创建RDD并将其与使用前一个API调用rdd.union(currentRdd)创建的前一个RDD合并。
在最终RDD上操作
一个简单的程序来重现这个问题：
def main(args: Array[String]) = {
val conf = new SparkConf().setAppName("Union test").setMaster("local[1]")
val sc = new S
浏览 2提问于2019-07-22得票数 3
回答已采纳
我正在将一个dataframe转换成一个管道分隔的值，并将其写入shell (scala)中的一个文件中。但我在PySpark方面毫无头绪。会很感激你的帮助。
尤其是我不知道如何用“\”来连接每个列
这是scala版本
scala> val stgDF = spark.read.table("tbl")
stgDF: org.apache.spark.sql.DataFrame = [name: string, num: int]
scala> stgDF.map(line => line.mkString("|")).take(2) //H
浏览 3提问于2017-10-30得票数 4
回答已采纳
RDD是以Array[Array[String]]格式创建的，具有以下值：
val rdd : Array[Array[String]] = Array(
Array("4580056797", "0", "2015-07-29 10:38:42", "0", "1", "1"),
Array("4580056797", "0", "2015-07-29 10:38:43", "0", "1", "1"
浏览 8提问于2015-10-14得票数 6
回答已采纳
我有一个星火DataFrame：
我必须使用Scala从中计算平均精度。我想，根据文档，我们必须使用RDD而不是DataFrame。我尝试了以下几点：
var llist = df.select("predicted", "actual").rdd.map(x => (x.get(0), x.get(1))).collect()
// It gave Array[(Any, Any)]
var df_rdd =sc.parallelize(llist)
// df_rdd is org.apache.spark.rdd.RDD[(Any, An
浏览 5提问于2021-06-17得票数 0
我有一个CSV文件，我想要读取到一个RDD或DataFrame中。这是目前为止的工作，但如果我收集数据，并将其转换成熊猫DataFrame来绘制表格是“畸形的”。
下面是我如何读取CSV文件：
NUMERIC_DATA_FILE = os.path.join(DATA_DIR, "train_numeric.csv")
numeric_rdd = sc.textFile(NUMERIC_DATA_FILE)
numeric_rdd = numeric_rdd.mapPartitions(lambda x: csv.reader(x, delimiter=",")
浏览 3提问于2016-10-12得票数 1
回答已采纳
1回答
我有两个rdd如下：
rdd1=sc.parallelize([(('a','b'),10),(('c','d'),20)])
rdd2=sc.parallelize([('a',2),('b',3),('c',4)])
我需要创建一个新的rdd，如下所示：( ('a', 'b') => value(a,b)/value(a) => 10/2值)
[(('a','b'), 5.0), (('c'
浏览 0提问于2018-05-03得票数 0
回答已采纳
在我们的代码中，Dataframe创建为：
DataFrame DF = hiveContext.sql("select * from table_instance");
当我将dataframe转换为rdd并尝试将其分区数作为
RDD<Row> newRDD = Df.rdd();
System.out.println(newRDD.getNumPartitions());
它将分区数减少到1(1在控制台中打印)。最初，我的dataframe有102个分区。
更新：
在阅读时，我重新划分了dataframe：
DataFrame DF = hiveContext.
浏览 2提问于2016-12-23得票数 3
1回答
我正在尝试将值数组作为新列添加到DataFrame中。
例:假设有一个Array(4,5,10)和一个dataframe
+----------+-----+
| name | age |
+----------+-----+
| John | 32 |
| Elizabeth| 28 |
| Eric | 41 |
+----------+-----+
我的要求是将上面的数组作为新列添加到dataframe中。我的预期产出如下：
+----------+-----+------+
| name | age | rank |
+----------+---
浏览 6提问于2022-01-11得票数 1
回答已采纳
3回答
展示了如何使用Scala case类来推断模式，如何从RDD创建DataFrame。我试图用sqlContext.createDataFrame(RDD, CaseClass)重现这个概念，但是我的DataFrame结果是空的。下面是我的Scala代码：
// sc is the SparkContext, while sqlContext is the SQLContext.
// Define the case class and raw data
case class Dog(name: String)
val data = Array(
Dog("Rex"),
浏览 0提问于2016-05-03得票数 12
回答已采纳
我想使用case类将文本文件转换为dataframe，下面是我的代码。它一直工作到映射拆分，在这里我可以看到使用rdd_metadata_schema.take(1).foreach(arr => print(arr.toList))的值，但是当我检查dataframe时是空的。
case class metadata_schema(
field_name:String,
field_pos:String,
field_dataTyp
浏览 0提问于2018-03-20得票数 2
回答已采纳
2回答
我见过每当我们在RDD上执行任何操作时都会生成DAG，但是当我们在数据帧上执行操作时会发生什么呢？ 当在dataframe上执行多个操作时，这些操作是否像RDD一样懒惰地进行评估？ 当catalyst优化器出现的时候？ 我在这两者之间有点困惑。如果有人能对这些话题有所了解，那将是非常有帮助的。 谢谢
浏览 12提问于2019-01-26得票数 1
回答已采纳
我试图通过从hadoop集群中获取.csv数据并将其放入Pandas DataFrame来创建火花工作流。我能够从HDFS中提取数据并将其放入RDD中，但无法将其处理到Pandas Dataframe中。以下是我的代码：
import pandas as pd
import numpy as nm
A=sc.textFile("hdfs://localhost:9000/sales_ord_univ.csv") # this creates the RDD
B=pd.DataFrame(A) # this gives me the following error:pandas
浏览 2提问于2016-09-21得票数 0
声称Spark中的DataFrame等同于Dataset[Row]，但是显示DataFrame有一个模式。
以博客文章中关于将RDD转换为DataFrame的例子:如果DataFrame与Dataset[Row]相同，那么将RDD转换为DataFrame应该是一样简单的。
val rddToDF = rdd.map(value => Row(value))
但它却证明了这是
val rddStringToRowRDD = rdd.map(value => Row(value))
val dfschema = StructType(Array(StructField("val
浏览 0提问于2016-10-07得票数 6
回答已采纳
我使用pyspark流从kafka获取数据，结果是一个dataframe，当我将dataframe转换为rdd时，它出错了： Traceback (most recent call last):
File "/home/docs/dp_model/dp_algo_platform/dp_algo_core/test/test.py", line 36, in <module>
df = df.rdd.map(lambda x: x.value.split(" ")).toDF()
File "/home/softs/spark-2.4.3-
浏览 56提问于2020-01-06得票数 3
我有一个SQLContext数据框架，它是由几个数字列组成的熊猫数据框架。我想使用pyspark.mllib.stats包进行多元统计分析。统计函数期望向量的RDD。我无法将此数据帧转换为向量的RDD。有办法转换数据帧吗？
代码：
rdd = sqlCtx.createDataFrame(df_new)
summary = Statistics.colStats(rdd)
我得到了df_new
df_new = df.applymap(lambda s: dic.get(s) if s in dic else s) #df is a pandas dataframe
我在总结行中得到一个
浏览 0提问于2015-07-01得票数 1
回答已采纳
如何将映射的RDD转换为包装的Array，我会出错
模式：
当我试图将dataframe转换为pojo时，我得到了以下异常：
java.lang.ClassCastException:
org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot
be cast to scala.collection.Seq
代码：
rdd.map(row => {
var arrm_list: Seq[Row] = rows.getAs[AnyRef]("ArrTeber").asI
浏览 1提问于2020-01-27得票数 0
回答已采纳
1回答
我尝试在循环的每个迭代中将一个条目附加到现有的RDD。到目前为止，我的代码是：
var newY = sc.emptyRDD[MatrixEntry]
for (j <- 0 until 8000) {
var arrTmp = Array(MatrixEntry(j, j, 1))
var rddTmp = sc.parallelize(arrTmp)
newY = newY.union(rddTmp)
}
在进行这8000次迭代时，当我尝试从该RDD中获取(10)时，我得到了一个错误，但如果我尝试使用较小的数字，一切都是正常的。error Exception in thr
浏览 3提问于2018-01-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
