Spark计数group by中的字数

// 导入Spark相关库和函数
import org.apache.spark.sql.SparkSession

// 创建SparkSession对象
val spark = SparkSession.builder()
  .appName("WordCountGroupBy")
  .master("local")
  .getOrCreate()

// 读取数据文件，假设每行是一个句子
val lines = spark.read.textFile("path/to/input")

// 将句子按空格拆分成单词
val words = lines.flatMap(line => line.split(" "))

// 对每个单词进行映射，生成(word, 1)的键值对
val wordCounts = words.map(word => (word, 1))

// 对键值对按单词进行分组，并对每组的值进行求和
val groupCounts = wordCounts.groupByKey().mapValues(_.sum)

// 打印每个单词和对应的字数
groupCounts.collect().foreach(println)

// 关闭SparkSession
spark.stop()

hello world
hello spark
hello big data

(world,1)
(hello,3)
(data,1)
(spark,1)
(big,1)