使用Spark SQL获取或默认嵌套列

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

// 创建SparkSession
val spark = SparkSession.builder()
  .appName("Nested Column Example")
  .getOrCreate()

// 创建包含嵌套列的DataFrame
val df = spark.read.json("path/to/json/file")

// 使用点操作符获取嵌套列的值
val nestedColumnValue = df.select("nestedColumn.fieldName")

// 使用索引操作符获取数组中的元素
val arrayElement = df.select(col("nestedArrayColumn")(0))

// 使用键获取Map中的值
val mapValue = df.select(col("nestedMapColumn")("keyName"))

// 获取嵌套列的默认值
val defaultValue = df.select(coalesce(col("nestedColumn.fieldName"), lit("default")))

// 打印结果
nestedColumnValue.show()
arrayElement.show()
mapValue.show()
defaultValue.show()