我有一个任务，需要使用spark.read.csv()将csv数据集加载到星火壳中，并完成以下任务：//load the dataset as an RDD
val dataRDD = spark.read.csv("block_1.<e
浏览 1提问于2021-01-27得票数 0
我的Spark Streaming作业需要处理RDD[String]，其中字符串对应于csv文件的一行。我事先不知道模式，所以需要从RDD推断模式，然后将其内容写入parquet文件。如果我从磁盘中读取一个csv文件，我只需使用模式推断将所有内容加载到DataFrame中，并立即将其写入parquet。不过，在我的场景中，我的起点是一个RDD[String]，它是流的结果。
浏览 5提问于2017-06-14得票数 2
3回答
我有一个.csv文件，它包含258列，结构如下。. , "index_257"]val data_csv = sc.textFile("~/test.csv")
如果我以这种方式进行转换，我必
浏览 20提问于2017-07-24得票数 0
回答已采纳
我正在尝试加载一个csv，并将第二行作为标题。如何实现这一目标。请让我知道。谢谢。file_location = "/mnt/test/raw/data.csv"delimiter = ","data = spark.read.format(file_type) \
.option("inferSch
浏览 4提问于2020-02-21得票数 2
回答已采纳
1回答
转换为RDD失败
、、
我读取了一个包含两列的CSV文件。通过转换为RDD循环访问Dataframe的元素。现在我想为每个元素创建一个DF。下面的代码失败。有谁能帮帮忙。val df1 = spark.read.format("csv").load("c:\\file.csv") //CSV has 3 columns for (row <- df1.rdd.collect
浏览 23提问于2021-09-06得票数 0
回答已采纳
),count("amount").as("cnt")).filter((length(trim($"student_id")) > 1) && ($"student_id").isNotNull)
将结果保存到文本文件中grouped.select($"club_data", $"student_id_add", $"amount",$"cnt").rdd.saveAsText
浏览 34提问于2018-01-03得票数 0
回答已采纳
StructField("event_timestamp", StringType, true),))
.enableHiveSupport() .getOrCreate()
var transaction=spark.createDataFrame
浏览 4提问于2022-06-25得票数 0
回答已采纳
1回答
现在，为了将其输出到csv，我迭代了rdd的每个键，将字典列表转换为spark.sql.Row的rdd，并从rdd创建数据帧，然后使用com.databricks.spark.csv将每个数据帧保存到hdfs中的csv。city_rdd = city_rdd.map(lambda kv: kv[1]) # return only data wit
浏览 2提问于2017-01-20得票数 0
1回答
到目前为止，我已经设法: 1)制作一个org.apache.spark.rdd.RDD[String]我可以平分：据我所知，我现在必须做一个RDDROW，我可以用以下方法将其转换成一个数据帧：但是我如何从rdd拆分转变为
浏览 0提问于2018-03-16得票数 0
我已经将csv文件转换为数据帧，并想要显示它。(MapPartitionsRDD.scala:52)at org.apache.spark.rdd.RDD.iterator基本上，我尝试使用Scala和Spark从csv读取数据，其中的列具有空值。
浏览 1提问于2021-03-25得票数 0
1回答
从csv文件创建一个DataFrame，处理每一行，希望创建一个具有相同列数的新行。val df = spark.read.format("csv").load("data.csv") val list| value||[X1, X2, X3]|+------------+
输入文件data.csv
浏览 1提问于2019-11-05得票数 1
回答已采纳
1回答
我需要将RDD转换为单列o.a.s.ml.linalg.Vector DataFrame，以便使用ML算法，特别是这种情况下的K-方法。这是我的RDD：
val parsedData = sc.textF
浏览 0提问于2016-09-02得票数 2
回答已采纳
我使用以下命令将txt文件读取为JavaRDD：现在，我想将其转换为JavaRDD，因为在txt我也试过这个：但是说我不能将map函数分配给"Object“RDD。
浏览 0提问于2019-03-21得票数 2
回答已采纳
1回答
我使用的是pySpark 2.3，试图读取一个如下所示的csv文件：1,0.0008506156837329876,0.0008467260987257776pyspark import sql, SparkConf, SparkContext>> <property at 0x7f47583a5548>
data_rdd= spark.textFile(name=tsv_d
浏览 2提问于2018-07-11得票数 1
回答已采纳
我正在创建一个火花数据集通过读取一个csv文件。此外，我需要将这个DatasetRow转换为RDD[ArrayString]，以便将它传递给FpGrowth(Spark )。val df: DataFrame = spark.read.format("csv").option("header", "true").load("/path/to/csv")
val
浏览 8提问于2021-01-08得票数 3
回答已采纳
我正在尝试为GraphX构建一个Edge RDD。我正在读取csv文件并转换为DataFrame，然后尝试转换为Edge RDD：
val edgeRDD: RDD[
浏览 43提问于2018-03-06得票数 0
回答已采纳
test(“This Fails“) {
[info] at org.apache.spark.rdd.RDDOperationScopeorg.scalatest.F
浏览 7提问于2017-02-07得票数 11
回答已采纳
如何将RDD (org.apache.spark.rdd.RDD[org.apache.spark.sql.Row])转换为数据帧org.apache.spark.sql.DataFrame。我使用.rdd将数据帧转换为rdd。在处理之后，我想把它放回数据帧中。我该怎么做呢？
浏览 56提问于2015-04-01得票数 150
回答已采纳
1回答
我想在csv中的数据集上执行决策树回归。我需要使用RDD来做这件事。我尝试了以下方法将dataframe转换为RDD：pp_df = pp_df.rdd.map(lambda
浏览 1提问于2018-11-15得票数 0
例如，结果如下：将返回一个数组。如何在磁盘上将spark DataFrame保存为csv文件？
浏览 1提问于2015-10-16得票数 30
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号