使用Scala和Spark在列中字符串的数组[Array[String]]

import org.apache.spark.sql.SparkSession

object StringArraySearch {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("StringArraySearch")
      .master("local[*]") // 这里使用local模式，可以根据实际情况修改
      .getOrCreate()

    // 导入隐式转换
    import spark.implicits._

    // 创建一个示例数据集
    val data = Seq(
      (1, Array("example", "test", "example")),
      (2, Array("example", "example", "example")),
      (3, Array("test", "test", "test"))
    ).toDF("id", "column")

    // 使用Spark的内置函数explode将数组展开为多行
    val explodedData = data.select($"id", explode($"column").as("value"))

    // 使用filter函数过滤出包含特定字符串的行
    val filteredData = explodedData.filter($"value" === "example")

    // 统计满足条件的行数即为特定字符串的数量
    val count = filteredData.count()

    println(s"The count of 'example' is: $count")

    // 停止SparkSession
    spark.stop()
  }
}