使用Spark查询存储在HDFS中的数据的最佳方式是什么？

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark HDFS Query")
  .master("local[*]")  // 这里的"local[*]"表示在本地运行，也可以指定其他的Spark集群地址
  .getOrCreate()

val data = spark.read.format("csv")  // 根据实际情况选择合适的数据格式
  .option("header", "true")  // 如果数据文件有表头，则设置为true
  .load("hdfs://<HDFS地址>/<数据文件路径>")

val result = data.select("column1", "column2")  // 根据实际需求选择需要查询的列
  .filter("column1 > 100")  // 根据实际需求添加过滤条件

result.show()  // 在控制台打印查询结果
result.write.format("parquet")  // 根据实际需求选择合适的输出格式
  .save("hdfs://<HDFS地址>/<输出文件路径>")