在PySpark中读取具有不同身份验证令牌的两个文件

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("Read Files with Different Authentication Tokens") \
    .getOrCreate()

token1 = "your_token1"
token2 = "your_token2"

# 使用身份验证令牌1读取文件1
df1 = spark.read.format("csv") \
    .option("header", "true") \
    .option("inferSchema", "true") \
    .option("token", token1) \
    .load("file1.csv")

# 使用身份验证令牌2读取文件2
df2 = spark.read.format("csv") \
    .option("header", "true") \
    .option("inferSchema", "true") \
    .option("token", token2) \
    .load("file2.csv")

# 对文件1进行处理
df1.show()

# 对文件2进行处理
df2.show()