如何在不改变顺序的情况下逐行读取数据帧？在Spark Scala中

// 导入必要的Spark依赖
import org.apache.spark.sql.{SparkSession, Row}

// 创建SparkSession
val spark = SparkSession.builder()
  .appName("Read DataFrame Row by Row")
  .master("local")
  .getOrCreate()

// 创建示例数据帧
val data = Seq(("Alice", 25), ("Bob", 30), ("Charlie", 35))
val df = spark.createDataFrame(data).toDF("Name", "Age")

// 定义自定义的操作函数，用于处理每个分区中的行
def processPartition(rows: Iterator[Row]): Unit = {
  rows.foreach(row => {
    val name = row.getString(0)
    val age = row.getInt(1)
    // 在这里可以对每一行进行自定义的操作，例如打印、存储等
    println(s"Name: $name, Age: $age")
  })
}

// 使用foreachPartition方法逐个分区处理数据帧
df.foreachPartition(processPartition)