Scala spark如何与列表交互[Option[Map[String，DataFrame]
Scala Spark与列表交互的方式可以通过以下步骤实现：
- 导入必要的Spark相关库和类：
import org.apache.spark.sql.{DataFrame, SparkSession}- 创建SparkSession对象：
val spark = SparkSession.builder()
.appName("Scala Spark List Interaction")
.master("local")
.getOrCreate()- 定义一个列表，其中每个元素是一个
Option[Map[String, DataFrame]]类型的对象：
val dataList: List[Option[Map[String, DataFrame]]] = List(
Some(Map("key1" -> dataframe1, "key2" -> dataframe2)),
Some(Map("key3" -> dataframe3)),
None
)- 使用Spark的
foreach方法遍历列表中的每个元素，并根据元素的类型执行相应的操作：
dataList.foreach {
case Some(dataMap) =>
// 处理包含DataFrame的Map
dataMap.foreach {
case (key, dataframe) =>
// 在这里进行DataFrame的操作
dataframe.show()
}
case None =>
// 处理空值
println("Encountered None value")
}在这个例子中，我们假设dataframe1、dataframe2和dataframe3是已经定义好的DataFrame对象。通过遍历列表中的每个元素，我们可以根据元素的类型执行相应的操作，例如对包含DataFrame的Map进行处理，或者处理空值。
请注意，这只是一个示例，具体的操作和逻辑可能因实际需求而有所不同。此外，这里没有提及具体的腾讯云产品和链接地址，因为在这个上下文中并没有明确的需求与云计算相关。
相关·内容
我正在将一个dataframe转换成一个管道分隔的值，并将其写入shell (scala)中的一个文件中。但我在PySpark方面毫无头绪。会很感激你的帮助。
尤其是我不知道如何用“\”来连接每个列
这是scala版本
scala> val stgDF = spark.read.table("tbl")
stgDF: org.apache.spark.sql.DataFrame = [name: string, num: int]
scala> stgDF.map(line => line.mkString("|")).take(2) //H
浏览 3提问于2017-10-30得票数 4
回答已采纳
我有一个情绪分析程序，可以使用递归神经网络来预测给定的电影评论是正面的还是负面的。我正在使用Deeplearning4j深度学习库来实现这个程序。现在，我需要将该程序添加到apache spark管道中。
这样做的时候，我有一个扩展org.apache.spark.ml.classification.ProbabilisticClassifier的类MovieReviewClassifier，我必须在管道中添加该类的一个实例。使用setFeaturesCol(String s)方法将建立模型所需的特征输入程序。我添加的功能是String格式的，因为它们是一组用于情感分析的字符串。但是这些特性应
浏览 3提问于2016-02-19得票数 1
我有一个叫做标签更新(UserId，MovieId，Tag)的文件，我还有一个由(MovieId，Tag，occurrence，count)组成的表，它改变了MovieId的名字，Tag，change as eachTagCount，count as totalcount。我想用新名称tagScore除以每个标记计数/总计数的值。如何编写此查询？val tagScore = sqlContext.sql("SELECT MovieId，Tag，(eachTagCount/totalCount) AS tagScore FROM finalresult")
val finalre
浏览 0提问于2019-06-11得票数 0
3回答
我想实现以下几点
，例如，我有Emp文件的(2个文件)，我只想选择2列，例如Empid和EmpName，如果文件没有EmpName，它应该选择EmpName的一列
1) Emp1.csv (档案)
Empid EmpName Dept
1 ABC IS
2 XYZ COE
2) Emp.csv (档案)
Empid EmpName
1 ABC
2 XYZ
代码一直试到现在
scala> val SourceData = spark.read.format("com.databricks.spark.csv&
浏览 4提问于2017-08-10得票数 0
回答已采纳
我目前有一个由两列组成的csv：
"name","numbers"
"abc","123"
"abc","234"
"def","123"
我试图将数据格式化为JSON映射：
{"abc":["123","234"],"def":["123"]}
我创建了一个数据框架，然后使用_list/spark对名称和收集数字进行分组，但我无法获得字符串中的引号，我也不知道如何将其格式化为JSON映射
浏览 5提问于2022-09-13得票数 1
SnappyData v.0-5
我的目标是运行一个snappydata驱动程序来连接到远程服务器中的SnappyData。为此，我编写了一个Junit。然而，当我运行它时，我得到了一个错误，SparkContext是实例化的：
**java.lang.NoClassDefFoundError: org/eclipse/jetty/server/handler/GzipHandler**
at org.apache.spark.ui.JettyUtils$$anonfun$4.apply(JettyUtils.scala:235)
at org.apache.spark.ui.
浏览 6提问于2016-08-06得票数 1
在Dataframe上应用MAP()时，总是将DF转换为RDD。 scala> val custDF = sqlContext.read.format("com.databricks.spark.avro").load("/user/cloudera/practice1/problem7/customer/avro")
**custDF: org.apache.spark.sql.DataFrame** = [customer_id: int, customer_fname: string, customer_lname: string] scala&g
浏览 12提问于2019-09-19得票数 0
回答已采纳
1回答
我有一个Spark dataframe，我正在对其执行如下操作。我想知道如何跳过所有操作来处理某些记录
finalDf = df.map(mapFunc).reduceGroups(reduceFunc).map(mapFunc2).write().format().option().mode().save();
在mapFunc中，我想要编写一个逻辑，如果某个条件为真，则不返回任何内容，并且必须停止考虑该记录以进行进一步操作.reduceGroups(reduceFunc).map(mapFunc2).write().format().option().mode().save()
我尝试从映
浏览 10提问于2021-06-04得票数 0
回答已采纳
我必须从csv文件中生成一个拼花文件，而这个拼花文件需要有两个列，即文件名和创建日期，所以我必须加载csv文件，从它创建一个DataFrame，然后添加它两个新列，然后再使用spark来生成拼花文件。
这是我的实际代码：
def loadCSV(sqlContext : SQLContext, pathCSV: String, separator: String, haveSchema: String): DataFrame = {
//logger.info("loadCSV. header is " + haveSchema.toString + ", infer
浏览 1提问于2016-11-30得票数 0
回答已采纳
1回答
我有下表：
DEST_COUNTRY_NAME ORIGIN_COUNTRY_NAME count
United States Romania 15
United States Croatia 1
United States Ireland 344
Egypt United States 15
表表示为数据集。
scala> dataDS
res187: org.apache.spark.sql.Dataset[FlightData]
浏览 1提问于2019-02-10得票数 0
对于Scala/Spark (1.5)和齐柏林飞艇(Zeppelin)，我面临着一个奇怪的问题：
如果我运行以下Scala/Spark代码，它将正确运行：
// TEST NO PROBLEM SERIALIZATION
val rdd = sc.parallelize(Seq(1, 2, 3))
val testList = List[String]("a", "b")
rdd.map{a =>
val aa = testList(0)
None}
但是，在将自定义数据type类型声明为建议的之后
//DATAFRAME EXTENS
浏览 1提问于2016-07-19得票数 2
1回答
我试图在齐柏林飞艇上运行星火代码，我得到了这样的信息: java.lang.ClassNotFoundException:类com.hadoop.compression.lzo.LzoCodec未找到
同样的问题与齐柏林飞艇嵌入式火花和从我自己安装的火花外壳(1.6.3)
Conf :
来自debian的码头集装箱:jessie
齐柏林飞艇版本: 0.6.2 (安装自tar，而不是从源代码构建)
cdh版本: 5.9.0
liblzo2-dev和hadoop-lzo安装在容器上。
SPARK_HOME和HADOOP_HOME被设置为env var，在conf/zeppeli
浏览 0提问于2016-12-30得票数 2
回答已采纳
我正在尝试使用星火协同过滤实现推荐系统。
首先，我准备模型并保存到磁盘：
MatrixFactorizationModel model = trainModel(inputDataRdd);
model.save(jsc.sc(), "/op/tc/model/");
当我使用单独的进程加载模型时，程序会失败，例外情况如下：
代码：
static JavaSparkContext jsc ;
private static Options options;
static{
SparkConf conf = new SparkConf().
浏览 1提问于2016-08-17得票数 1
回答已采纳
我的代码：
import org.apache.spark.sql._
import org.apache.spark.sql.types._
def yearFrame(x: String) : org.apache.spark.sql.DataFrame = {
val csv0 = sc.textFile("Data/Casos_Notificados_Dengue_01_"+x+".csv")
val csv = sc.textFile("Data/*"+x+".csv")
val rdd =
浏览 2提问于2015-05-28得票数 0
回答已采纳
1回答
我注意到在DataFrame上使用了一个窗口函数之后，如果我用一个函数调用map()，那么Spark会返回一个“任务不可序列化”的异常--这是我的代码：
val hc:org.apache.spark.sql.hive.HiveContext =
new org.apache.spark.sql.hive.HiveContext(sc)
import hc.implicits._
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._
def f() : Strin
浏览 6提问于2016-05-18得票数 15
回答已采纳
1回答
我正在尝试加载一个用spark sql以ORC格式创建的托管配置单元表。
SparkConf conf = new SparkConf().setAppName(ConnectionTest.class.getName()).setMaster(master);
JavaSparkContext context = new JavaSparkContext(conf);
SQLContext sqlContext = new HiveContext(context);
sqlContext.sql("SELECT * FROM schema.tableName").show
浏览 21提问于2017-04-20得票数 3
1回答
我在HDFS中有数千个小文件。需要处理一个稍微小一点的文件子集(同样是以千为单位)，fileList包含需要处理的文件列表。
// fileList == list of filepaths in HDFS
var masterRDD: org.apache.spark.rdd.RDD[(String, String)] = sparkContext.emptyRDD
for (i <- 0 to fileList.size() - 1) {
val filePath = fileStatus.get(i)
val fileRDD = sparkContext.textFile(f
浏览 0提问于2015-12-25得票数 18
回答已采纳
我在Scala中使用Spark。在将数据加载到Spark Dataframe之后，我想要访问Dataframe的每个单元格来执行一些计算。代码如下： val spark = SparkSession
.builder
.master("local[4]")
.config("spark.executor.memory", "8g")
.config("spark.executor.cores", 4)
.config("spark.task.cpus",1)
.appName("Spark SQL bas
浏览 23提问于2021-09-19得票数 1
2回答
我正试图在星火应用程序中将我的逻辑解耦。我为UDF定义、和UDF声明创建了单独的类。
UDF声明：
import OPXUdfDefinitions._
object OPXUdf extends Serializable {
def apply(argsInput: Map[String, String]) = {
OPXUdfDefinitions(argsInput)
}
val myUDF = udf(myDef _)
}
UDF定义：
object OPXUdfDefinitions extends Serializable{
private var ar
浏览 2提问于2019-05-07得票数 0
我正在获取mongoDB文档，然后在处理之后，我想使用Bson.Document库将其存储到Hbase中
将流媒体方法从spark kafkastreaming改为结构化流媒体，因此早期使用kafkaUtils的方法产生了DstreamDocument
在结构化流媒体中，我得到了DatasetDocument
scala> val stream = spark.readStream.format("kafka").option("kafka.bootstrap.servers","brokerList").option("subsc
浏览 15提问于2019-11-09得票数 2
我有有数百列的csv文件。因此，我显式地表示文件中的值，以显示为浮动，但火花推断为双值。这是令人不安的，因为数据大小很大，而且要避免再次对所有列进行强制转换。虽然我在搜索中找不到任何线索，但我想知道这个问题是否有解决办法。我正在使用Spark3.3，下面演示了这个问题：
$ cat test.csv
Word Wt1 Wt2
hello 1.0F 2.0F
hi 2.0F 4.0F
在火花壳中：
scala> val x = 2.0F
val x: Float = 2.0
scala> val df = sqlContext.read.fo
浏览 13提问于2022-08-23得票数 1
回答已采纳
我使用以下命令创建了一个空的Seq() scala> var x = Seq[DataFrame]()
x: Seq[org.apache.spark.sql.DataFrame] = List() 我有一个名为createSamplesForOneDay()的函数，它返回一个DataFrame，我想将它添加到这个Seq() x中。 val temp = createSamplesForOneDay(some_inputs) // this returns a Spark DF
x = x + temp // this throws an error 我得到下面的错误- scala&
浏览 57提问于2019-07-02得票数 0
回答已采纳
在中运行的示例Java代码如下: import org.apache.spark.sql.SQLContext；import org.apache.spark.sql.types.*；
SQLContext sqlContext = new SQLContext(sc);
StructType customSchema = new StructType(
new StructField("year", IntegerType, true),
new StructField("make", StringType, true),
new S
浏览 2提问于2015-12-21得票数 8
1回答
我有一个火花批处理管道读取数据从卡夫卡与自定义反序列化。
val deviceRdd = KafkaUtils
.createRDD[String, Option[Activity]](spark.sparkContext, kafkaParams, offsetRanges, PreferConsistent)
.flatMap(_.value())
自定义反序列化器(反序列化为原型生成的类)
override def deserialize(topic: String, data: Array[Byte]): Option[Activity] = {
浏览 8提问于2022-06-15得票数 1
回答已采纳
1回答
我是scala (基本上是函数式编程)的新手。我尝试循环遍历一系列行(可以认为是字符串)，其中每个字符串都将被传递给不同的scala方法，在该方法中，我对输入字符串进行一些操作，然后将一个字符串返回给for循环。
下面不是工作代码，但这是我期望工作的代码。
val input_list = spark.read
.format("com.crealytics.spark.excel")
.option("sheetName" , "SchemaInfo")
.option(&#
浏览 17提问于2019-11-02得票数 0
回答已采纳
我无法将带有zipWithIndex的rdd转换为dataframe。
我已经读取了一个文件，我需要跳过前3条记录，然后将记录限制在第10行。为此，我使用rdd.zipwithindex。
但后来，当我尝试保存这7项纪录时，我却做不到。
val df = spark.read.format("com.databricks.spark.csv")
.option("delimiter", delimValue)
.option("header", "false
浏览 0提问于2018-03-20得票数 2
回答已采纳
1回答
我试图使用IntelliJ在scala中创建一个基本作业。使用下面的代码，我必须构建scala并使用sbt assembly创建一个jar。然后将这些罐子连同火花-卡桑德拉连接器一起提交给星火星系团。因此，我的问题是如何在Intellij中不创建jar的情况下测试scala代码。而且，每次我更改我的build.sbt文件中的某些内容。它启动了一个下载依赖项的后台任务，即使我已经将其放在build.sbt文件中。那么，我要怎么做一次呢？
代码:
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
im
浏览 4提问于2016-04-15得票数 2
我正在尝试获取卡夫卡流数据，这是火花流中的JSONArray，每个JSONArray包含几个JSONObject。
我希望将每个JSONObject保存到datadrames中，并在与另一个表映射后保存到cassandra表中。
我试图创建dataframe来保存JSONObject，但是当我在stream.foreachRDD中创建dataframe时，它抛出了NullPointerException。是因为spark不支持嵌套的RDD吗？如果是这样，我如何将JSONObject保存到cassandra？
数据格式如下：
[
{
"temperature&#
浏览 1提问于2016-12-12得票数 2
回答已采纳
enter code here我正在练习在数据仓库中添加一个列表。我可以开发udf并注册，然后在dataframe上应用，但我想尝试一种不同的方法，即提取list from dataframe col和它们map it，然后在新列中提取readd to the original dataframe。
val df = spark.createDataFrame(Seq(("A",1),("B",2),("C",3))).toDF("Str", "Num")
+---+---+
|Str|Num|
+---+---+
浏览 1提问于2022-09-13得票数 0
我有一个包含float和double值的dataframe。
scala> val df = List((Float.NaN, Double.NaN), (1f, 0d)).toDF("x", "y")
df: org.apache.spark.sql.DataFrame = [x: float, y: double]
scala> df.show
+---+---+
| x| y|
+---+---+
|NaN|NaN|
|1.0|0.0|
+---+---+
scala> df.printSchema
root
|-- x: fl
浏览 2提问于2017-05-12得票数 3
回答已采纳
我有一个Streaming设置，它消耗了一个Kafka主题，我需要使用一些使用的App，但是当我试图转换它时，我得到了以下内容
: org.apache.spark.sql.AnalysisException: Queries with streaming sources must be executed with writeStream.start();;
kafka
at org.apache.spark.sql.catalyst.analysis.UnsupportedOperationChecker$.org$apache$spark$sql$catalyst$anal
浏览 1提问于2019-03-05得票数 3
回答已采纳
我有一个拼图格式的蜂窝表，它是使用
create table myTable (var1 int, var2 string, var3 int, var4 string, var5 array<struct<a:int,b:string>>) stored as parquet;
我可以验证它是否已填充--以下是一个示例值
[1, "abcdef", 2, "ghijkl", ArrayBuffer([1, "hello"])]
我希望把这个放到Spark RDD的表单中
((1,"abcdef"), ((
浏览 1提问于2015-09-23得票数 5
回答已采纳
正如问题所表明的那样，我已经尝试了相当一段时间来编写一些可以读取数据帧的代码，并将顶点添加到gremlin图中，并从dataframe提取属性。为此，我编写了以下代码：
val graph = TinkerGraph.open()
val g = graph.traversal
def myFunction(field1:String,field2:String) ={
graph.addVertex(field1,field2)
}
val df = List(
(1,"A","X",1),
(2,"B","
浏览 0提问于2018-02-14得票数 1
1回答
凤凰星火插件
、、
插件更新是为了激发2.0吗？我不能用这个插件
val df = spark.read
.format("org.apache.phoenix.spark")
.option("table", "web_stat")
.option("zkUrl", "localhost:2181")
.option("driver","org.apache.phoenix.jdbc.PhoenixDriver")
浏览 2提问于2017-01-18得票数 1
3回答
我正在尝试对PySpark DataFrame中的一些Unicode列进行一些NLP文本清理。我已经尝试了Spark 1.3，1.5和1.6，但似乎无法让它在我的生命中正常工作。我也尝试过使用Python2.7和Python3.4。
我已经创建了一个非常简单的udf，如下所示，它应该只为新列中的每条记录返回一个字符串。其他函数将操作文本，然后在新列中返回更改后的文本。
import pyspark
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark.sql import SQLConte
浏览 4提问于2016-01-15得票数 21
回答已采纳
1回答
如何在Spark中创建一个泛型min()函数，该函数返回与泛型使用的值相同的值？
下面是我对双打和弦乐的看法：
def minDouble(rdd: RDD[Map[String, String]], field: String): Double = {
rdd.map(row => row(field).toDouble).min()
}
def minString(rdd: RDD[Map[String, String]], field: String): String = {
rdd.map(row => row(field)).min()
}
如何使用泛型使其成为
浏览 2提问于2015-06-03得票数 0
回答已采纳
我试着教自己Scala，同时尝试编写函数式语言的惯用代码，即编写更好、更优雅、更实用的代码。
我有以下代码可以运行：
import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}
import java.time.LocalDate
object DataFrameExtensions_ {
implicit class DataFrameExtensions(df: DataFrame){
def featuresGroup1(groupBy: Seq[String]
浏览 2提问于2018-05-23得票数 2
回答已采纳
我的dataframe是通过读取RDBMS表创建的，它有一列，其中只有一个值：
val sourceCols = spark.read.format("jdbc").option("url", hiveMetaConURL)
.option("dbtable", "(select source_columns from base.spe_tab where tablename='base.forecast') as sCols&#
浏览 52提问于2018-07-28得票数 -1
回答已采纳
我有一个RDD[MapString，Any]，我正在尝试将它转换为Dataframe。我没有可以指定Dataframe的架构。
我试着做了一个rdd.toDF，但是没有帮助。它出现了一个错误，如下所示。
Exception in thread "main" java.lang.ClassNotFoundException: scala.Any
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.ja
浏览 2提问于2019-11-14得票数 2
我最近开始在Scala中使用Spark，我发现自己处于这样一种情况:我想要将一些值从hashmap/map映射到dataframe，而不必构造新的dataframe，然后执行某种连接。
我有这个数据框架：
+---+-------+---+----------+---------+
| id| name|age| date|genderKey|
+---+-------+---+----------+---------+
| 1|Rodrigo| 30|2019-01-01| male|
| 2|Roberto| 23|2019-01-01| male|
|
浏览 2提问于2020-04-10得票数 0
我有一个包含一些数据的json文件，我可以从中创建DataFrame，我感兴趣的特定部分的模式如下所示：
val json: DataFrame = sqlc.load("entities_with_address2.json", "json")
root
|-- attributes: struct (nullable = true)
| |-- Address2: array (nullable = true)
| | |-- value: struct (nullable = true)
| | | |-- Zi
浏览 1提问于2015-05-28得票数 23
回答已采纳
1回答
我一直试图在Zepplin0.9上运行一些在本地运行的数据集的实验。但是，在对数据集执行操作时，我会遇到NPEs。同样的操作似乎也适用于Dataframe。下面是一个失败的例子
import spark.implicits._
import org.apache.spark.sql.Row
import org.apache.spark.sql.types._
case class Person(firstname: String, middlename: String, lastname: String, id: String, gender: String, salary: Int)
浏览 2提问于2021-02-14得票数 0
下面的代码将引发一个异常:未定义架构的行上的java.lang.UnsupportedOperationException: fieldIndex。这种情况发生在调用了在使用groupByKey、groupedByKey和flatMap对数据after进行flatMap和ExpressionEncoder调用之后返回的数据帧上。
逻辑流: originalDf->groupByKey->flatMap->groupByKey->flatMap->show
import org.apache.spark.sql.catalyst.encoders.RowEnc
浏览 2提问于2018-11-20得票数 7
回答已采纳
1回答
我在dataframe中有一个包含三列的表。city_name、driver_name、车辆列表中的车辆。
我也有一些其他的细节，如司机的时间，司机联系等每个司机在mysql。数据库中的表格式为: city_name.driver_name。
scala> val tables = """
[
{"vehicles" : ["subaru","mazda"], "city_name" : "seattle", "driver_name"
浏览 0提问于2019-05-13得票数 0
3回答
星火中的UDF工作非常慢
、、、
我有一个spark中的UDF (运行在EMR上)，它是用scala编写的，它使用scala的用户代理库(Uap)解析设备。在小集合上工作时，它工作得很好(5000行)，但在较大集(2M)上运行时，它的工作非常慢。我试着收集Dataframe列表并在驱动程序上循环，这也很慢，这使我相信UDF运行在驱动程序上，而不是工作人员上。
我怎么才能建立起这个呢？有人有别的理论吗？
如果是这样的话，为何会出现这种情况呢？
这是udf代码：
def calcDevice(userAgent: String): String = {
val userAgentVal = Option(user
浏览 5提问于2017-11-13得票数 1
如何从Java调用此函数？或者在scala中我需要一个包装器？
package com.datastax.spark.connector
class DataFrameFunctions(dataFrame: DataFrame) extends Serializable {
...
def createCassandraTable(
keyspaceName: String,
tableName: String,
partitionKeyColumns: Option[Seq[String]] = None,
clusteringKeyColum
浏览 1提问于2016-09-03得票数 0
2回答
当我从Hive中选择data时，它会返回一个dataframe，但我不能访问模式以外的任何内容。
from spark import HiveContext, SQLContext
hive_context = HiveContext(sc)
hive_context.sql("USE myDatabase")
data = hive_context.sql("SELECT * FROM myTable")
data.show()
当我检查它返回的"data“类型时：
<class 'pyspark.sql.dataframe.DataF
浏览 1提问于2018-04-19得票数 0
1回答
我有一个流数据流，使用火花结构化流创建。就像这样-
val dataStream =
spark
.readStream
.format("kafka")
.option("kafka.bootstrap.servers", bootstrapServer)
.option("subscribe", topic)
.load()
现在，当我尝试使用一个名为newKey的额外列从newKey创建一个数据集时，它会给出以下错误-
[error] (run-main-0) java.l
浏览 0提问于2018-05-07得票数 1
回答已采纳
我想要使用DataFrame从关系数据库中读取sparkSession.read.jdbc(...)的单元测试代码。但是，我没有找到一种方法来模拟DataFrameReader来返回虚拟DataFrame进行测试。
代码示例：
object ConfigurationLoader {
def readTable(tableName: String)(implicit spark: SparkSession): DataFrame = {
spark.read
.format("jdbc")
.option("url", s
浏览 1提问于2019-04-03得票数 5
回答已采纳
我有以下数据(只是显示了一个代码片段)
DEST_COUNTRY_NAME ORIGIN_COUNTRY_NAME count
United States Romania 15
United States Croatia 1
United States Ireland 344
Egypt United States 15
我在inferSchema选项设置为true的情况下读取它，然后对列执行describe操作。它似乎工作得很好。
scala> val data = spark.read.option("header", "true
浏览 0提问于2019-02-03得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
