从本地spark-submit检查远程HDFS上是否存在文件

import org.apache.spark.sql.SparkSession
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}

object CheckFileExistence {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("CheckFileExistence")
      .master("local[*]")
      .getOrCreate()

    // 创建SparkContext
    val sc = spark.sparkContext

    // 创建Hadoop Configuration对象
    val conf = new Configuration()

    // 配置HDFS相关参数
    conf.set("fs.defaultFS", "hdfs://<hdfs_host>:<hdfs_port>")

    // 创建FileSystem对象
    val fs = FileSystem.get(conf)

    // 检查远程HDFS上是否存在文件
    val filePath = new Path("hdfs://<hdfs_host>:<hdfs_port>/path/to/file")
    val fileExists = fs.exists(filePath)

    if (fileExists) {
      println("文件存在")
    } else {
      println("文件不存在")
    }

    // 关闭SparkSession和SparkContext
    spark.stop()
  }
}