如何使用Scala在Spark中创建仅包含列名和数据类型的新空列
在Spark中使用Scala创建仅包含列名和数据类型的新空列，可以按照以下步骤进行：
- 导入必要的Spark相关库和类：
import org.apache.spark.sql.{SparkSession, DataFrame}
import org.apache.spark.sql.types.{StructType, StructField, StringType}- 创建SparkSession对象：
val spark = SparkSession.builder()
.appName("Create Empty Column")
.getOrCreate()- 定义一个空的Schema，包含要创建的新列的列名和数据类型：
val emptySchema = StructType(Seq(
StructField("new_column", StringType, nullable = true)
))- 创建一个空的DataFrame，使用上述定义的Schema：
val emptyDF: DataFrame = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], emptySchema)- 显示新创建的空列：
emptyDF.show()这样就成功在Spark中创建了一个仅包含列名和数据类型的新空列。
注意：在这个回答中，我不能提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商。如果您需要了解更多关于Spark和Scala的信息，可以参考腾讯云的相关产品和文档。
参考链接：
相关·内容
与在RDBMS中添加新列一样，不需要在列中填充数据，但需要提供列名和数据类型。我想在Spark dataframe中做同样的事情，但不一定在Schema中指定，我希望新的列可以以特别的方式创建 val dfWithNewColumn = df.withColumn("new_col", IntgerType
浏览 28提问于2020-07-02得票数 0
回答已采纳
1回答
B | C | D 2 | 1 | 1 | 1 | 11 | {"B", "C"}3 | {"A"} 换句话说，我想创建一个新列，其中包含</
浏览 19提问于2019-03-19得票数 0
我使用一个名为Point(x: Double，y: Double)的数据类型。我尝试使用列_c1和_c2作为Point()的输入，然后创建一个新的Point值列，如下所示
val toPoint = udf{(x: Double, y: Double) => Point(x,y)at org.apache.spark.sql.functions$.udf(functions.
浏览 2提问于2017-04-27得票数 1
" val Date = "Date"}
然后，我想按列对我如何将$和ColumnNames.JobSeekerID结合在一起来完成这一任务？
浏览 2提问于2018-01-11得票数 2
回答已采纳
当创建一个列值默认值为NULL的表时，我在Spark(1.6) SQL中获得了下面的错误。示例:将表测试创建为select column_a，NULL作为column_b从test_temp创建；
同样的东西在Hive中工作，并创建数据类型为"void“的列。我使用空字符串而不是NULL来避免异常<e
浏览 3提问于2017-12-27得票数 0
回答已采纳
我知道使用.withColumn()向星火.withColumn()添加新列的方法，以及返回DataFrame的UDF。我还知道，我们可以将结果DataFrame转换为DataSet。我的问题是：
如果我们仍然遵循传统的DF方法(即将列名作为UDF输入的字符串传递)，DataSet的类型安全性是如何发挥作用的？是否有一种“面向对象的方式”来访问列</e
浏览 1提问于2016-11-15得票数 11
回答已采纳
中添加一列，该列包含同一dataframe中一列的所有值的总和。例如:在图片中有列- UserID，MovieID，Rating，UserID时间戳。现在我想添加一个名为Sum的列，它将包含Rating列的所有值的总和。我有一个评级数据框 Ratings列名: USerID，MovieID，Rating，Uni
浏览 25提问于2019-01-23得票数 0
回答已采纳
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我看到有一个dataFrame.withColumnRenamed方法，但我只能重命名一列。我有涉及多个列的连接。我是否只需要确保存在一组惟一的列名，而不管我应用na
浏览 4提问于2016-02-28得票数 3
我可以用一个数据类型为Map的列创建一个新的Dataframe。card_type_details类型相同的新列。我正在尝试使用spark withColumn方法来添加这个新列。当我在tmp列上应用.isEmpty方法时，出现了问题。我得到了空指针异常。:1063)
如何添加应与card_type_detai
浏览 1提问于2020-10-22得票数 0
7回答
这个df有"A“、"B”和"C“列。现在假设我有一个Array，它包含这个df列的名称：我想以这样的方式来做一个df.select()，这样我就可以指定哪些列不能选择。例如:假设我不想选择列"B“。我试过了
df.select(column_names.filter(_!="
浏览 21提问于2015-07-15得票数 22
回答已采纳
2回答
我正在学习如何使用Pandas，我已经从Kaggle下载了一些关于汽车价格等的数据。 我正在尝试创建一个新的数据帧，通过子化所有具有"Golf“模型的汽车。golfs = df[df.model == "Golf"] 它确实返回了一个新的dataframe，但是当我调用它时，除了列名之外，它只是一个空的。= "Golf"]
浏览 17提问于2020-12-03得票数 0
1回答
下面是AWS Glue的简单脚本。我有一个带有空单元格的文本文件和一个接受空值的表。当我运行胶水作业时，它会失败，例外情况是“不知道如何将NullType保存为REDSHIFT”。如何处理此问题，或者通过Glue在RedShift中不支持空插入？我没有任何空字符就重新生成了我的文件，我也有同样的问题。
我添加了这行代码。推断了一些不存在的NullType字段。添加
浏览 4提问于2017-11-28得票数 5
1回答
示例数据帧：import spark.implicits._
(1, "ABC"), (3, "GHIJ")someDF: org.apache.spark.sql.DataFra
浏览 6提问于2020-06-04得票数 0
回答已采纳
我有一个简单的测试用例，可以将Seq[(Int,Int)]转换为DataFrame： val conf = new SparkConf().set("spark.sql.codegen.wholeStage", "false").set("spark.sql.cbo.enabled", "true")
val spark = SparkSession.builder(
浏览 0提问于2018-10-24得票数 1
回答已采纳
1回答
(我对星火、黑帕拉和库杜都很陌生。)我试图通过Kudu将Oracle DB中的表复制到具有相同结构的Impala表中。当代码试图将Oracle NUMBER映射到Kudu数据类型时，我会收到一个错误。如何更改星火DataFrame的数据类型，使其与Kudu兼容？这是一份从Oracle到Impala的1到1的数据副本.我提取了源表的Oracle模式，并创建了一个具有
浏览 3提问于2019-05-15得票数 0
回答已采纳
1回答
我已经通过使用成功地将Spark - Scala内核包含到了我的木星笔记本中。以下是两个例子：以下代码在终端shell中工作： ("Brandon", "Erica"),但是，当尝试
浏览 14提问于2017-11-06得票数 0
回答已采纳
我不确定这是否是一个有效的问题，但我想问一下。有没有一种方法可以使用带有列名的列表并生成一个空的spark dataframe，模式应该使用列表中的元素创建，所有列的数据类型都是StringType。"|"))
#sche
浏览 1提问于2018-09-18得票数 2
回答已采纳
中创建第4列，其中包含所有这3列的值数组，如| indiana|需要这个数组，因为countVectorizer模型的输入应该是包含值数组的列。它不应该像下面的错误消息中提到的那样是字符串数据类型</
浏览 1提问于2017-09-05得票数 0
回答已采纳
从一个dataframe中，我想创建一个新的dataframe，其中任何列中至少有一个值为null或空，在Spark1.5/ scala中。我正在尝试编写一个通用函数来创建这个新的dataframe。在这里，我传递数据文件和列列表，并创建记录。
谢谢
浏览 4提问于2017-07-25得票数 4
回答已采纳
在使用Azure Synapse SQL专用池作为数据源创建dataframe时，我遇到了这个问题。某些列具有数字列名，如"240“。我使用了scala中的synapsesql连接器，然后使用spark.sql抓取数据帧到pyspark数据帧。即使我能够毫无问题地打印出数据帧的模式，尝试选择任何具有数字名称的列也会产生错误。该错误与与带
浏览 25提问于2021-09-06得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
