Spark Structured Streaming JAVA中两个不同列数据集的合并

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class MergeDataSetsExample {
    public static void main(String[] args) {
        // 创建SparkSession
        SparkSession spark = SparkSession.builder()
                .appName("MergeDataSetsExample")
                .master("local")
                .getOrCreate();

        // 创建第一个数据集
        Dataset<Row> dataset1 = spark.read()
                .format("csv")
                .option("header", "true")
                .load("dataset1.csv");

        // 创建第二个数据集
        Dataset<Row> dataset2 = spark.read()
                .format("csv")
                .option("header", "true")
                .load("dataset2.csv");

        // 将两个数据集按照共同的列连接起来
        Dataset<Row> mergedDataset = dataset1.join(dataset2, "commonColumn");

        // 选择需要的列
        Dataset<Row> selectedColumns = mergedDataset.select("column1", "column2", "column3");

        // 显示结果
        selectedColumns.show();

        // 停止SparkSession
        spark.stop();
    }
}