在Spark Scala中,可以使用Dataframe的withColumn
方法以及range
函数来创建整数范围的新列。具体步骤如下:
import org.apache.spark.sql.functions._
df
的Dataframe,其中包含一个名为existingColumn
的整数列。withColumn
方法和range
函数创建新列:val newDf = df.withColumn("newColumn", range(col("existingColumn").cast("long")))
在上述代码中,withColumn
方法用于添加新列,第一个参数是新列的名称,第二个参数是新列的值。range
函数用于创建整数范围,它接受一个参数作为范围的上限,此处使用了col
函数获取现有列的值,并将其转换为长整型。
val filteredDf = newDf.filter(col("newColumn").between(10, 20))
这样,我们就使用Spark Scala Dataframe中现有的integer列创建了一个整数范围的新列。请注意,上述代码中没有提及腾讯云的相关产品和链接地址,因为直接给出答案内容要求不提及特定云计算品牌商。
领取专属 10元无门槛券
手把手带您无忧上云