开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Spark: spark-submit使用哪个目录来查找--文件？

在Spark中，spark-submit命令用于提交Spark应用程序到集群上运行。它使用--files选项来指定要在集群上分发的文件。spark-submit使用以下目录来查找这些文件：

当前工作目录：spark-submit首先在当前工作目录中查找指定的文件。当前工作目录是运行spark-submit命令的目录。
Spark配置目录：如果文件在当前工作目录中找不到，spark-submit将在Spark配置目录中查找。Spark配置目录是通过SPARK_CONF_DIR环境变量指定的，默认情况下为$SPARK_HOME/conf。
Spark安装目录：如果文件既不在当前工作目录中，也不在Spark配置目录中，spark-submit将在Spark安装目录中查找。Spark安装目录是通过SPARK_HOME环境变量指定的。

需要注意的是，--files选项指定的文件将被分发到集群上的每个工作节点，并在应用程序中可用。这些文件可以是应用程序所需的任何资源，如配置文件、数据文件等。

推荐的腾讯云相关产品是腾讯云的云服务器CVM和弹性MapReduce（EMR）服务。

腾讯云云服务器CVM：腾讯云提供的弹性、可扩展的云服务器，可满足各种计算需求。您可以使用CVM来部署和运行Spark应用程序，并通过spark-submit命令将应用程序提交到CVM集群上运行。
腾讯云弹性MapReduce（EMR）：腾讯云的大数据处理和分析服务，提供了完全托管的Spark集群。您可以使用EMR来轻松地创建和管理Spark集群，并使用EMR的控制台或API提交Spark应用程序。

您可以通过以下链接了解更多关于腾讯云云服务器CVM和弹性MapReduce（EMR）的信息：

腾讯云云服务器CVM产品介绍：https://cloud.tencent.com/product/cvm
腾讯云弹性MapReduce（EMR）产品介绍：https://cloud.tencent.com/product/emr

相关搜索:Spark-submit在错误的目录中查找无法使用spark-submit使用本地文件 airflow spark-submit operator -无此类文件或目录 google dataproc:使用哪个spark目录来设置$SPARK_HOME环境变量？linux 查找文件在哪个目录 linux查找文件在哪个目录使用python可执行文件提交Spark作业，而不是spark-submit 如何使用Spark来洗牌大文件？文件名、目录名或卷标语法不正确。在使用spark-submit时 Databricks:使用外部jar文件运行spark-submit作业，‘无法加载类’错误如何在Scala Spark中使用window lag来查找更改 FileNotFoundError:在Heroku上运行pyspark命令时，未遇到用于spark-submit的此类文件或目录如何使用SparkSession的自定义配置文件(不使用spark-submit提交申请)？使用spark群集模式将文件写入unix目录使用Scala/Spark列出目录中的文件(包括文件信息)使用ajax查找目录中的文件数通过使用linux_rename命令添加时间戳来查找目录中的文件使用查找和重命名来重命名子目录中的文件我可以使用哪个工具来查看WRX文件？如何使用spark-submit运行转换为二进制的.py文件(在linux中)

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

[大数据之Spark]——快速入门

本篇文档是介绍如何快速使用spark，首先将会介绍下spark在shell中的交互api，然后展示下如何使用java,scala,python等语言编写应用。可以查看编程指南了解更多的内容。为了良好的阅读下面的文档，最好是结合实际的练习。首先需要下载spark,然后安装hdfs，可以下载任意版本的hdfs。 Spark Shell 交互基本操作 Spark Shell提供给用户一个简单的学习API的方式以及快速分析数据的工具。在shell中，既可以使用scala（运行在java虚拟机，因此可以

09

大数据基础系列之提交spark应用及依赖管理

在Spark的bin目录下的spark-submit脚本用于提交一个任务到集群中。因为是针对所有的集群管理器统一接口(local，Standalone，yarn，mesos)，所以不必为每一个集群管理器进行特殊的配置。一，打包应用的依赖如果你的代码依赖于其它工程，你需要将它们和你的应用一起打包，目的是将这些代码分发到Spark集群中去。为了达到这个目的，需要创建一个assembly jar或者super jar，这个jar要同时包含你的代码和它的依赖。Sbt和maven都有assembly 插件。在创

09

Apache Spark 2.2.0 中文文档 - Submitting Applications | ApacheCN

Spark2.3.0 使用spark-submit部署应用程序

Spark的 bin 目录中的 spark-submit 脚本用于在集群上启动应用程序。可以通过一个统一的接口使用 Spark 所有支持的集群管理器，因此不必为每个集群管理器专门配置你的应用程序。

04

聊聊spark-submit的几个有用选项

我们使用spark-submit时，必然要处理我们自己的配置文件、普通文件、jar包，今天我们不讲他们是怎么走的，我们讲讲他们都去了哪里，这样我们才能更好的定位问题。我们在使用spark-submit把我们自己的代码提交到yarn集群运行时，spark会在yarn集群上生成两个进程角色，一个是driver，一个是executor，当这两个角色进程需要我们传递一些资源和信息时，我们往往会使用spark-submit的选项来进行传递。那么这些资源和信息，在使用spark-submit指定了之后，都去了哪里呢，

03

[1015]spark-submit提交任务及参数说明

spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。

02

Python大数据之PySpark(四)SparkBase&Core

在哪个文件下面更改？spark-env.sh中增加YARN_CONF_DIR的配置目录

04

Pyspark学习笔记（二）--- spark部署及spark-submit命令简介

Pyspark学习笔记（二）--- spark部署及spark-submit命令简介

01

Spark部署模式与作业提交

需要注意的是：在集群环境下，application-jar 必须能被集群中所有节点都能访问，可以是 HDFS 上的路径；也可以是本地文件系统路径，如果是本地文件系统路径，则要求集群中每一个机器节点上的相同路径都存在该 Jar 包。

03

IDEA 编写第一个spark项目

scala 2.11.12 下载：https://www.scala-lang.org/download/

03

Spark源码分析之Spark Shell（上）

终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。先来介绍一下Spark-shell是什么？ Spark-shell是提供给用户即时交互的一个命令窗口，你可以在里面编写spark代码，然后根据你的命令立即进行运算。这种东西也被叫做REPL,(Read-Eval-Print Loop)交互式开发环境。先来粗略的看一眼，

Spark快速入门系列(7) | Spark环境搭建—standalone(4) 配置Yarn模式

官方文档地址：http://spark.apache.org/docs/latest/running-on-yarn.html

02

Spark-Submit 和 K8S Operation For Spark

本文翻译自 Lightbend 的一篇文章，文章日期还比较新，2019/02/26。文章分为两部分，翻译也将分为两个部分。附上文章链接如下:

02

Spark之三大集群模式—详解（3）

Standalone集群使用了分布式计算中的master-slave模型， master是集群中含有master进程的节点 slave是集群中的worker节点含有Executor进程

02

Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo

原因：因为在之前的项目中，在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩，这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-submit任务时，需要访问HDFS上的文件，而spark自身没有lzo的jar包所以无法找到。

01

【Spark篇】---Spark中资源和任务调度源码分析与资源配置参数应用

Spark中资源调度是一个非常核心的模块，尤其对于我们提交参数来说，需要具体到某些配置，所以提交配置的参数于源码一一对应，掌握此节对于Spark在任务执行过程中的资源分配会更上一层楼。由于源码部分太多本节只抽取关键部分和结论阐述，更多的偏于应用。

03

Apache Spark 2.2.0 中文文档 - 快速入门 | ApacheCN

本文介绍了如何使用 Spark 进行大数据处理，首先介绍了 Spark 的基本概念和架构，然后通过一个简单的例子展示了如何使用 Spark 进行数据处理。最后，本文还介绍了 Spark 的部署方式，包括本地部署和集群部署。

08

[1032]spark-3.0安装和入门

spark官网下载：http://spark.apache.org/downloads.html

04

PySpark任务依赖第三方python包的解决方案

在使用大数据spark做计算时，scala开发门槛比较高，一般多会去使用Spark Sql 和PySpark，而PySpark进行个性化开发时，需要引入第三方python包，尤其在机器学习算法方面依赖许多科学包如numpy、pandas 、matlib等等，安装这些依赖是一个非常痛苦的过程，尤其是涉及到需要在整个spark集群中去运行，不可能每个节点环境都是一致，也不可能去修改机器上的包依赖了。

05

Spark笔记15-Spark数据源及操作

数据输入源 Spark Streaming中的数据来源主要是系统文件源套接字流 RDD对列流高级数据源Kafka 文件流交互式环境下执行 # 创建文件存放的目录 cd /usr/loca/spark/mycode mkdir streaming cd streaming mkdir logfile cd logfile # 对这个子目录进行数据监控 from pyspark import SparkContext from pyspark.streaming import StreamingCo

01

spark-submit介绍

spark-submit脚本通常位于/usr/local/spark/bin目录下，可以用which spark-submit来查看它所在的位置，spark-submit用来启动集群中的应用，它使用统一的提交接口支持各种类型的集群服务器。为了将应用发布到集群中，通常会将应用打成.jar包，在运行spark-submit时将jar包当做参数提交。

01

《从0到1学习spark》-- spark初体验

https://pan.baidu.com/s/1M7KJVH89h6bVMJVpai1s8A 密码:vdp5

02

scala打包jar并在Linux下运行

切记这里还有一个位置是存放打包完成后的 jar 存放位置 Output Directory ：

01

Pyspark学习笔记（二）--- spark-submit命令

http://spark.apache.org/docs/latest/submitting-applications.html#submitting-applications,

02

EMR入门学习之通过SparkSQL操作示例（七）

导语：Spark 为结构化数据处理引入了一个称为 Spark SQL 的编程模块。它提供了一个称为 DataFrame 的编程抽象，并且可以充当分布式 SQL 查询引擎。

03

spark-submit --files

spark-submit --files通常用来加载外部资源文件，在driver和executor进程中进行访问

02

spark任务提交时绝对路径添加额外配置文件提示找不到路径

spark任务提交，添加额外配置文件时用绝对路径读取不到上传的文件。 /usr/local/spark-2.1.0-bin-hadoop2.7/bin/spark-submit --name str_platform_test_80 --master yarn --deploy-mode client --executor-cores 1 --num-executors 2 --executor-memory 1G --driver-memory 4G --conf spark.yarn.queue=rad

03

Idea+maven+scala构建包并在spark on yarn 运行

在pom.xml配置文件中配置spark开发所需要的包,根据你Spark版本找对应的包,Maven中央仓库

02

Spark on Kubernetes PodTemplate 的配置

本文主要讲 Apache Spark 在 on Kubernetes 的 PodTemplate 的问题，以及也会讲到 Spark Operator 里关于 PodTemplate 的问题，当然也会讲到 Apache Spark 2.2 on Kubernetes 那个 Fork 的版本，感兴趣的同学可以往下看看。

03

CDH中如何升级Spark

通过上面的过程分析，可以知道，Spark版本存在两个地方：一个是A节点提交Spark-submit的程序必须是2.3.0版本的；另一个是Yarn使用的lib必须是2.3.0版本的。

00

使用Spark SQL 构建流式处理程序

今天介绍利用 StreamingPro 构建流式(Spark Streaming)计算程序

04

【Spark】集群服务安装

01

Spark快速入门系列(2) | Spark 运行模式之Local本地模式

Local 模式就是指的只在一台计算机上来运行 Spark. 通常用于测试的目的来使用 Local 模式, 实际的生产环境中不会使用 Local 模式.

02

Spark Operator 是如何提交 Spark 作业

本文将 Spark 作业称为 Spark Application 或者简称为 Spark App 或者 App。目前我们组的计算平台的 Spark 作业，是通过 Spark Operator 提交给 Kubernetes 集群的，这与 Spark 原生的直接通过 spark-submit 提交 Spark App 的方式不同，所以理解 Spark Operator 中提交 Spark App 的逻辑，对于用户来说是非常有必要的。本文将就其具体的提交逻辑，介绍一下。

03

使用Spark SQL构建批处理程序

在批处理模式下，所有的数据源和输出都各自有一个固定的模块(使用了Spark的Datasource API),然后对模块做配置即可，无需使用不同的模块。

03

[源码剖析]Spark读取配置Spark读取配置

我们知道，有一些配置可以在多个地方配置。以配置executor的memory为例，有以下三种方式：

03

大数据入门与实战-PySpark的使用教程

Apache Spark是用Scala编程语言编写的。为了用Spark支持Python，Apache Spark社区发布了一个工具PySpark。使用PySpark，您也可以使用Python编程语言处理RDD。正是由于一个名为Py4j的库，他们才能实现这一目标。这里不介绍PySpark的环境设置，主要介绍一些实例，以便快速上手。

02

【Spark篇】---Spark中yarn模式两种提交任务方式

Spark可以和Yarn整合，将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交任务的方式。

03

Spark Submit的ClassPath问题

需求场景：我们的产品需要与客户的权限系统对接，即在登录时使用客户的认证系统进行认证。集成认证的方式是调用客户提供的jar包，调用userService的authenticate方法。同时，还需要在classpath中提供密钥的key文件。从需求看，这个集成并不复杂，且客户也提供了较翔实的接口文档与示例案例，开发工作量非常小。唯一的阻碍是客户有安全要求，内部的Jar包及其他文件都不能拷贝出来，而我们的开发环境是不能连接客户内网的。客户提供的Jar包并没有通过Maven来管理，我们只能采用直接导入的方式。在

09

0888-7.1.6-如何在集群外安装多集群Gateway支持

1.文档编写目的在使用CDH/CDP集群过程中会遇到在集群外的节点使用Hadoop命令访问集群（如：HDFS、HBASE、HIVE、SPARK、YARN）等命令操作。但是有特殊需求： 1.不想将这个节点加入到CDH/CDP集群中管理，只用于实现CDH/CDP集群的访问。 2.支持多个不同版本的C6/CDP集群之间切换 3.支持多个用户同时访问不同集群，且环境变量互不影响本篇文章主要介绍满足以上条件的一个客户端节点安装。测试环境 1.集群1是CM版本6.3.4、CDH版本6.3.4 2.集群2 是Clo

02

StreamingPro使用教程

准备工作下载Spark 1.6.2 下载StreamingPro 我们假设你下载的StreamingPro包在/tmp目录下。复制如下模板 { "esToCsv": { "desc": "测试", "strategy": "streaming.core.strategy.SparkStreamingStrategy", "algorithm": [], "ref": [], "compositor": [ { "name": "st

03

使用docker-compose创建spark集群

下载docker镜像 sudo docker pull sequenceiq/spark:1.6.0 创建docker-compose.yml文件创建一个目录，比如就叫 docker-spark，然后在其下创建docker-compose.yml文件，内容如下： version: '2' services: master: image: sequenceiq/spark:1.6.0 hostname: master ports: - "4040:4040"

02

spark-yarn-cluster任务提交方式Logs出现Fails且无法访问

A1 原因提交方式：注意用yarn-cluster提交方式的命令日志没有收集 A2 解决用yarn-cluster提交方式的命令命令：./spark-submit --master yarn

01

用 Facebook Hydra 参数配置框架来简化程序配置

Facebook Hydra 允许开发人员通过编写和覆盖配置来简化 Python 应用程序（尤其是机器学习方面）的开发。开发人员可以借助Hydra，通过更改配置文件来更改产品的行为方式，而不是通过更改代码来适应新的用例。

04

Spark入门- Spark运行Local本地模式

Spark-shell 是 Spark 给我们提供的交互式命令窗口(类似于 Scala 的 REPL)

01

如何在Java应用中提交Spark任务？

最近看到有几个Github友关注了Streaming的监控工程——Teddy，所以思来想去还是优化下代码，不能让别人看笑话啊。于是就想改一下之前觉得最丑陋的一个地方——任务提交。本博客内容基于Spark2.2版本~在阅读文章并想实际操作前，请确保你有：一台配置好Spark和yarn的服务器支持正常spark-submit --master yarn xxxx的任务提交老版本老版本任务提交是基于 ** 启动本地进程，执行脚本spark-submit xxx ** 的方式做的。其中一个关键的问题就是

06

springboot开发spark-submit的java代码

习惯使用spark-submit提交python写的pyspark脚本，突然想开发基于springboot开发java spark代码。在实际开发工程中，由于对springboot不熟，遇到了很多问题，好在最终都解决了。以下记录了一些问题及其解决方法。

00

Spark2.0学习（一）--------Spark简介

Apache Spark™ is a unified analytics engine for large-scale data processing

03

如何在CDH集群上部署Python3运行环境及运行Python作业

当前有很多工具辅助大数据分析，但最受欢迎的就是Python。Python简单易用，语言有着直观的语法并且提供强大的科学计算和集群学习库。借着最近人工智能，深度学习的兴起，Python成为时下最火的语言，已经超越了Java和C，并且纳入了国家计算机等级考试。本篇文章主要讲述如何在CDH集群基于Anaconda部署Python3的运行环境，并使用示例说明使用pyspark运行Python作业。

04

Spark源码分析-作业提交(spark-submit)

前面提到，spark向yarn提交作业的client类是org.apache.spark.deploy.yarn.YarnClusterApplication

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭