Spark 2.1 :如何在DataFrameWriter partitionBy中提供多个列

在Spark 2.1中，可以通过在DataFrameWriter的partitionBy方法中提供多个列来进行分区。

DataFrameWriter是用于将DataFrame写入外部存储系统的API。partitionBy方法用于指定分区列，将数据按照指定的列进行分区存储。

以下是在DataFrameWriter partitionBy中提供多个列的示例代码：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark 2.1 PartitionBy Example")
  .master("local")
  .getOrCreate()

// 创建一个示例DataFrame
val data = Seq(
  ("Alice", "Sales", 5000),
  ("Bob", "IT", 3000),
  ("Charlie", "Marketing", 2000),
  ("David", "Sales", 4000),
  ("Eva", "IT", 6000)
)
val df = spark.createDataFrame(data).toDF("Name", "Department", "Salary")

// 将数据按照Name和Department两列进行分区存储
df.write
  .partitionBy("Name", "Department")
  .csv("path/to/output")

在上述示例中，我们创建了一个包含Name、Department和Salary三列的DataFrame。然后，我们使用partitionBy方法将数据按照Name和Department两列进行分区存储，并将结果写入到指定的输出路径。

这样，输出路径下的文件夹结构将会按照分区列的值进行组织，例如：

path/to/output/Name=Alice/Department=Sales/part-00000.csv
path/to/output/Name=Bob/Department=IT/part-00000.csv
path/to/output/Name=Charlie/Department=Marketing/part-00000.csv
path/to/output/Name=David/Department=Sales/part-00000.csv
path/to/output/Name=Eva/Department=IT/part-00000.csv

这种分区存储的方式可以提高查询效率，因为可以仅读取特定分区的数据。

腾讯云相关产品中，可以使用腾讯云的分布式计算服务Tencent Cloud TKE来部署和管理Spark集群，使用腾讯云对象存储COS来存储分区后的数据。具体产品介绍和链接如下：