我正在尝试使用yarn运行Spark，我遇到了这个错误：export HADOOP_
浏览 43提问于2017-08-16得票数 7
1回答
/spark-submit --deploy-mode client --verbose --master yarn wordcount.py s3://bucket/inputwordcount.txts3://bucket/outputbucket/ ;
我们得到以下错误:在线程"main“org.apache.spark.SparkException中出现异常:当使用主'yarn‘运行时</e
浏览 0提问于2019-07-19得票数 0
0回答
在bash脚本中，我只是在运行时使用以下命令导出变量现在我想在Airflow中做同样的事情，但还没有找到解决方案。我发现的一个解决办法是在任何方法或运算符之外使用os.environ[VAR_NAME]='some_text'设置变量，但这意味着它们在脚本加载时导出，而不是在运行时
浏览 2提问于2018-07-13得票数 6
--master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubsspark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar
例外:当使用主“纱线”运行时</em
浏览 7提问于2017-06-08得票数 17
我是Spark的新手，我正在尝试在纱线集群模式下从我的应用程序内部(不使用spark-submit.sh)启动一个Spark作业，我想弄清楚这个作业是如何知道Yarn ResourceManager在哪里运行的我已经做了
SparkConf sConf = new SparkConf().setMaster("yarn-cluster").set("spark.driver.memory", "10g");但我无法配置的是Yarn ResourceManager的
浏览 3提问于2017-04-12得票数 0
2回答
火花提交问题
、、、
我正试图使用submit在星火集群上运行一个胖罐子。我在AWS上使用Spark中的"spark-ec2“可执行文件创建了集群。/src1/big-data-hw2-assembly-1.0.jarexport HADOOP_
浏览 4提问于2015-04-12得票数 3
回答已采纳
我想将 (在一个Docker容器中)部署到另一个主机上，以实现Spark。但是，脚本似乎假定它运行在与Spark相同的机器上。$SPARK_CONF_DIR/spark-env.sh
作业服务器打算作为一个或多个独立的进程运行，独立于Spark集群(尽管它很可能与主服务器( Master) )并置。
浏览 3提问于2015-05-27得票数 1
1回答
我想要远程星火开发环境。此外，我有另一台机器已经安装了闭锁(火花上的纱线)。String jar = "C:\\Users\\default.DESKTOP-0BP338U\\Desktop\\workspace\\workspace_study\\spark-start-on-yarn我添加了环境变量这是我的密码 .setAppName(new
浏览 6提问于2017-08-28得票数 0
回答已采纳
当我们想从Spark连接HDFS时，我们只是将HADOOP_CONF_DIR设置为而不是将各种参数传递给Spark/usr/hdp/current/spark-client/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarnexecutor-memory
浏览 4提问于2020-08-03得票数 1
org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1301)at org.apache.hadoop.yarn.util.FSDownload.access$000(FSDownload.java:63)
at org.apache.hadoop.yarn.util.FSDownloa
浏览 4提问于2015-09-21得票数 4
试图使用纱线在集群上运行一个简单的应用程序。我把这两个都设置好了export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
在smack-env.sh文件中，我仍然会得到这个错误。
浏览 0提问于2018-06-13得票数 0
回答已采纳
使用Hortonworks HDP 2.1 (Hadoop2.40)使用HDP Sandbox虚拟机或安装多节点集群(CentOS 6.5)。当我(作为根用户) SSH到Hadoop节点(无论是主节点还是从节点)时，我惊讶地发现没有设置各种Hadoop环境变量(HADOOP_HOME、HADOOP_CONF_DIR、HADOOP_xxx、HIVE_HOME我认为这些环境变量是在运行时设置的。当执行特
浏览 1提问于2014-07-11得票数 0
我的机器上当前有spark，主节点的IP地址是yarn-client。顺便说一句，我的机器不在集群中。我使用此命令提交作业我已经将我主人的地址硬编码到我的应用程序的表单中Caused by: java.net.Co
浏览 1提问于2016-06-06得票数 15
回答已采纳
2回答
我已经创建并成功地测试了一个项目，该项目使用样本数据在本地运行。运行整个管道作业的Bash文件：
它开始运行，但它似乎只运行在主人，而不是在工人。我在这里做错了什么？任何洞察力都是有用的。
浏览 0提问于2018-10-19得票数 1
2回答
我正在尝试使用spark-submit脚本从我的spark集群(运行Spark 1.4.0，hadoop 2.4.0和YARN)之外的另一台服务器提交spark作业：我的想法是，我的应用程序永远不会从接受状态通过，它会粘在上面：
15/07/08 1649:49 INFO Client: Application report for appli
浏览 0提问于2015-07-09得票数 2
我在使用CDH5.4的CentOS上有4个服务器，我想要做的是在所有这四个节点上连接spark on yarn。我的问题是我不知道如何将HADOOP_CONF_DIR设置为指定的。我应该在哪里为这个变量设置什么值？然后，我是否需要在所有四个节点上都设置这个变量，或者只有主节点就足够了？文档中说“确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群的(客户端)配置文件的目录”。在这里提
浏览 0提问于2015-07-28得票数 0
我试图在纱线-集群模式上提交python应用程序。
Seq(System.getenv("SPARK_HOME")+"/bin/spark-submit","--master",sparkConfig.getString("spark.master"),"--executor-memory",sparkConfig.getString("spark.executor-memory"),"--num-executors",sparkConfig.getString("spark
浏览 3提问于2016-01-06得票数 2
当我尝试在集群(没有hadoop的spark 2.1.2 )中运行它时，我收到了同样的错误。我应该怎么做才能让脚本在yarn中运行？jsonfrom bs4.element import Comment
sc = SparkContext("yarn
浏览 1提问于2017-11-30得票数 2
1回答
我有一个安装了火花的码头集装箱，我正在尝试提交作业到其他集群上使用马拉松。码头集装箱有纱线和hadoop conf dir的导出值，纱线文件也包含emr主ip的正确地址，但我不确定它从哪里作为本地主机？ENV YARN_CONF_DIR="/opt/yarn-site.xml"Yarn.xml<p
浏览 1提问于2018-09-10得票数 1
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号