当使用主'yarn‘运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR
当使用主'yarn'运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。
这是因为YARN是Apache Hadoop生态系统中的一个关键组件，用于资源管理和作业调度。在使用yarn命令运行时，它需要访问Hadoop配置文件以获取必要的配置信息。
HADOOP_CONF_DIR和YARN_CONF_DIR都是环境变量，用于指定Hadoop和YARN配置文件所在的目录。通过设置这些环境变量，可以告诉YARN在哪里找到配置文件。
HADOOP_CONF_DIR环境变量指定Hadoop配置文件所在的目录，而YARN_CONF_DIR环境变量指定YARN配置文件所在的目录。这些配置文件包含了集群的各种配置参数，如节点管理器、资源管理器、容器分配等。
设置HADOOP_CONF_DIR或YARN_CONF_DIR的方法取决于操作系统和使用的shell。以下是一些常见的设置方法：
在Linux或Mac上，可以在用户的.bashrc或.profile文件中添加以下行：
export HADOOP_CONF_DIR=/path/to/hadoop/conf
export YARN_CONF_DIR=/path/to/yarn/conf在Windows上，可以在系统环境变量中添加以下变量：
HADOOP_CONF_DIR=C:\path\to\hadoop\conf
YARN_CONF_DIR=C:\path\to\yarn\conf请注意，上述路径应替换为实际的Hadoop和YARN配置文件所在的目录路径。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Hadoop：https://cloud.tencent.com/product/emr
- 腾讯云YARN：https://cloud.tencent.com/product/emr
- 腾讯云云服务器CVM：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务TKE：https://cloud.tencent.com/product/tke
- 腾讯云人工智能AI：https://cloud.tencent.com/product/ai
- 腾讯云物联网IoT Hub：https://cloud.tencent.com/product/iothub
- 腾讯云移动开发：https://cloud.tencent.com/product/mobile
- 腾讯云对象存储COS：https://cloud.tencent.com/product/cos
- 腾讯云区块链：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙：https://cloud.tencent.com/product/vr
相关·内容
我正在尝试使用yarn运行Spark，我遇到了这个错误：export HADOOP_
浏览 43提问于2017-08-16得票数 7
1回答
/spark-submit --deploy-mode client --verbose --master yarn wordcount.py s3://bucket/inputwordcount.txts3://bucket/outputbucket/ ;
我们得到以下错误:在线程"main“org.apache.spark.SparkException中出现异常:当使用主'yarn‘运行时</e
浏览 0提问于2019-07-19得票数 0
0回答
在bash脚本中，我只是在运行时使用以下命令导出变量现在我想在Airflow中做同样的事情，但还没有找到解决方案。我发现的一个解决办法是在任何方法或运算符之外使用os.environ[VAR_NAME]='some_text'设置变量，但这意味着它们在脚本加载时导出，而不是在运行时
浏览 2提问于2018-07-13得票数 6
--master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubsspark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar
例外:当使用主“纱线”运行时</em
浏览 7提问于2017-06-08得票数 17
我是Spark的新手，我正在尝试在纱线集群模式下从我的应用程序内部(不使用spark-submit.sh)启动一个Spark作业，我想弄清楚这个作业是如何知道Yarn ResourceManager在哪里运行的我已经做了
SparkConf sConf = new SparkConf().setMaster("yarn-cluster").set("spark.driver.memory", "10g");但我无法配置的是Yarn ResourceManager的
浏览 3提问于2017-04-12得票数 0
2回答
火花提交问题
、、、
我正试图使用submit在星火集群上运行一个胖罐子。我在AWS上使用Spark中的"spark-ec2“可执行文件创建了集群。/src1/big-data-hw2-assembly-1.0.jarexport HADOOP_
浏览 4提问于2015-04-12得票数 3
回答已采纳
我想将 (在一个Docker容器中)部署到另一个主机上，以实现Spark。但是，脚本似乎假定它运行在与Spark相同的机器上。$SPARK_CONF_DIR/spark-env.sh
作业服务器打算作为一个或多个独立的进程运行，独立于Spark集群(尽管它很可能与主服务器( Master) )并置。
浏览 3提问于2015-05-27得票数 1
1回答
我想要远程星火开发环境。此外，我有另一台机器已经安装了闭锁(火花上的纱线)。String jar = "C:\\Users\\default.DESKTOP-0BP338U\\Desktop\\workspace\\workspace_study\\spark-start-on-yarn我添加了环境变量这是我的密码 .setAppName(new
浏览 6提问于2017-08-28得票数 0
回答已采纳
当我们想从Spark连接HDFS时，我们只是将HADOOP_CONF_DIR设置为而不是将各种参数传递给Spark/usr/hdp/current/spark-client/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarnexecutor-memory
浏览 4提问于2020-08-03得票数 1
org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1301)at org.apache.hadoop.yarn.util.FSDownload.access$000(FSDownload.java:63)
at org.apache.hadoop.yarn.util.FSDownloa
浏览 4提问于2015-09-21得票数 4
试图使用纱线在集群上运行一个简单的应用程序。我把这两个都设置好了export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
在smack-env.sh文件中，我仍然会得到这个错误。
浏览 0提问于2018-06-13得票数 0
回答已采纳
使用Hortonworks HDP 2.1 (Hadoop2.40)使用HDP Sandbox虚拟机或安装多节点集群(CentOS 6.5)。当我(作为根用户) SSH到Hadoop节点(无论是主节点还是从节点)时，我惊讶地发现没有设置各种Hadoop环境变量(HADOOP_HOME、HADOOP_CONF_DIR、HADOOP_xxx、HIVE_HOME我认为这些环境变量是在运行时设置的。当执行特
浏览 1提问于2014-07-11得票数 0
我的机器上当前有spark，主节点的IP地址是yarn-client。顺便说一句，我的机器不在集群中。我使用此命令提交作业我已经将我主人的地址硬编码到我的应用程序的表单中Caused by: java.net.Co
浏览 1提问于2016-06-06得票数 15
回答已采纳
2回答
我已经创建并成功地测试了一个项目，该项目使用样本数据在本地运行。运行整个管道作业的Bash文件：
它开始运行，但它似乎只运行在主人，而不是在工人。我在这里做错了什么？任何洞察力都是有用的。
浏览 0提问于2018-10-19得票数 1
2回答
我正在尝试使用spark-submit脚本从我的spark集群(运行Spark 1.4.0，hadoop 2.4.0和YARN)之外的另一台服务器提交spark作业：我的想法是，我的应用程序永远不会从接受状态通过，它会粘在上面：
15/07/08 1649:49 INFO Client: Application report for appli
浏览 0提问于2015-07-09得票数 2
我在使用CDH5.4的CentOS上有4个服务器，我想要做的是在所有这四个节点上连接spark on yarn。我的问题是我不知道如何将HADOOP_CONF_DIR设置为指定的。我应该在哪里为这个变量设置什么值？然后，我是否需要在所有四个节点上都设置这个变量，或者只有主节点就足够了？文档中说“确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群的(客户端)配置文件的目录”。在这里提
浏览 0提问于2015-07-28得票数 0
我试图在纱线-集群模式上提交python应用程序。
Seq(System.getenv("SPARK_HOME")+"/bin/spark-submit","--master",sparkConfig.getString("spark.master"),"--executor-memory",sparkConfig.getString("spark.executor-memory"),"--num-executors",sparkConfig.getString("spark
浏览 3提问于2016-01-06得票数 2
当我尝试在集群(没有hadoop的spark 2.1.2 )中运行它时，我收到了同样的错误。我应该怎么做才能让脚本在yarn中运行？jsonfrom bs4.element import Comment
sc = SparkContext("yarn
浏览 1提问于2017-11-30得票数 2
1回答
我有一个安装了火花的码头集装箱，我正在尝试提交作业到其他集群上使用马拉松。码头集装箱有纱线和hadoop conf dir的导出值，纱线文件也包含emr主ip的正确地址，但我不确定它从哪里作为本地主机？ENV YARN_CONF_DIR="/opt/yarn-site.xml"Yarn.xml<p
浏览 1提问于2018-09-10得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
