我正在尝试为kubernetes中的部署构建spark容器镜像,并且怀疑我做错了。运行镜像时,我得到了以下错误:
/opt/spark/conf/spark-env.sh: line 72: /home/me/hadoop_s3/bin/hadoop: No such file请注意,第一行显示了我的错误-容器内的spark-env.sh引用了容器中不存在的hadoop位置。
我有一个简单的spark应用程序,它在使用spark-submit的笔记本电脑上运行得很好。然而,当我在亚马逊EC2集群上使用spark-submit运行它时,我得到了这个运行时错误:
$ /root/spark/bin/spark-submit --class application.Examplejava.lang.IncompatibleClassChangeError: Found class org.apache.hadoop.mapre
我有一个公开可用的亚马逊s3资源(文本文件),并希望从spark访问它。) at org.apache.hadoop.fs.FileSystemat org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:270)
at org.apache.spark.rdd.H
.jar /opt/spark-2.2.1-bin-hadoop2.7/jars/
RUN cp /opt/spark-2.2.1-bin-hadoop2.7/conf/spark-defaults.conf.template/opt/spark-2.2.1-bin-hadoop2.7/conf/spark-defaults.conf
我已经下载了spark 1.4.0的预构建版本,没有hadoop (使用用户提供的Haddop)。/ at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSpaies(SparkSubmitArguments.scala:111)
at org.apache.spark.deploy.SparkSubmitArguments.我已经跟踪了shell命令,其中似乎