在spark scala中查找年和月的最小和最大值

import org.apache.spark.sql.{SparkSession, functions}

// 创建SparkSession
val spark = SparkSession.builder()
  .appName("Min and Max Year and Month")
  .getOrCreate()

// 读取数据源创建DataFrame对象
val data = spark.read.format("csv")
  .option("header", true)
  .load("path/to/data.csv")

// 数据预处理
val processedData = data.withColumn("year", functions.year(functions.to_date(functions.col("date"), "yyyy-MM-dd")))
  .withColumn("month", functions.month(functions.to_date(functions.col("date"), "yyyy-MM-dd")))

// 查找最小和最大年份
val minMaxYear = processedData.agg(functions.min("year").alias("minYear"), functions.max("year").alias("maxYear"))

// 查找最小和最大月份
val minMaxMonth = processedData.agg(functions.min("month").alias("minMonth"), functions.max("month").alias("maxMonth"))

// 打印结果
minMaxYear.show()
minMaxMonth.show()