Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Mac在Hadoop的yarn上运行mapreduce报错ExitCodeException exitCode=127:

Mac在Hadoop的yarn上运行mapreduce报错ExitCodeException exitCode=127:

作者头像
Albert陈凯
发布于 2018-04-04 06:32:32
发布于 2018-04-04 06:32:32
2K00
代码可运行
举报
文章被收录于专栏:Albert陈凯Albert陈凯
运行总次数:0
代码可运行

hadoop 2.7.2

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
17/04/14 14:07:00 INFO mapreduce.Job: Job job_1492146520853_0005 running in uber mode : false
17/04/14 14:07:00 INFO mapreduce.Job:  map 0% reduce 0%
17/04/14 14:07:00 INFO mapreduce.Job: Job job_1492146520853_0005 failed with state FAILED due to: Application application_1492146520853_0005 failed 2 times due to AM Container for appattempt_1492146520853_0005_000002 exited with  exitCode: 127
For more detailed output, check application tracking page:http://MacBook-Pro.local:8088/cluster/app/application_1492146520853_0005Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_1492146520853_0005_02_000001
Exit code: 127
Stack trace: ExitCodeException exitCode=127: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
    at org.apache.hadoop.util.Shell.run(Shell.java:456)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)


Container exited with a non-zero exit code 127

先去http://localhost:8088/cluster上查看失败日志

发现找不到/bin/java

修改yarn-env.sh

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
24 if [ "$JAVA_HOME" != "" ]; then
 25   #echo "run java in $JAVA_HOME"
 26   JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home
 27 fi
 28 
 29 if [ "$JAVA_HOME" = "" ]; then
 30   echo "Error: JAVA_HOME is not set."
 31   exit 1
 32 fi
 33 
 34 JAVA=$JAVA_HOME/bin/java

改第26行 JAVA_HOME就可以了 原来默认是$JAVA_HOME 第34行没有读到

参考文章:http://blog.csdn.net/lihe2008125/article/details/44901791

他让我去/bin/下面创建一个java 软连接,我没权限,所以只能另辟蹊径了。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017.04.14 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Yarn的JobHistory目录权限问题导致MapReduce作业异常
0: jdbc:hive2://localhost:10000>select count(*) from student;
Fayson
2018/03/29
4.9K0
Yarn的JobHistory目录权限问题导致MapReduce作业异常
本地Eclipse提交MR程序到Yarn
1、一般地,从Windows本地的Eclipse提交程序到yarn,会报如下错误: Diagnostics: Exception from container-launch. Container id: container_1526537597068_0006_02_000001 Exit code: 1 Exception message: /bin/bash: line 0: fg: no job control Stack trace: ExitCodeException exitCode=1: /
sparkle123
2018/07/04
5950
Spark Spark {{JAVA_HOME}}找不到
发现换一台机器提交作业就没有问题,怀疑是版本的问题,经过对比,原来是我编译Spark所使用的Hadoop版本和线上Hadoop版本不一致导致的,当前使用Hadoop版本是2.7,而线上是使用的2.2。后来使用线上Hadoop版本重新编译了Spark,这个问题就解决了。
smartsi
2019/08/08
1.1K0
hadoop学习笔记 原
* vi /etc/hosts 10.204.211.241 JZYH-COLLECTOR-LTEMR3-OSS * vi /etc/sysconfig/network #主机名不要使用下划线 127.0.0.1 localhost localhost4 localhost4.localdomain4 ** Single Node Cluster * etc/hadoop/core-site.xml: <configuration> <property> <name>fs.def
用户2836074
2018/08/15
4330
腾讯云大数据套件Hermes-MR索引插件使用总结
该文介绍了大数据技术的基本概念、分类、应用场景和主要技术。重点介绍了Hadoop和Spark这两个大数据框架,以及它们在大数据处理中的应用。另外,还介绍了大数据处理中常见的问题和挑战。
王亮
2016/09/29
2.7K7
腾讯云大数据套件Hermes-MR索引插件使用总结
Windows搭建Hive1.2.2
1. 环境 操作系统: Windows 7 JDK版本: 1.8.0_221 Hadoop版本: 2.6.0 (Hive依赖) Hive版本: 1.2.2 2. 下载 image.png image.
夹胡碰
2020/10/28
9690
Windows搭建Hive1.2.2
Hadoop 调试第一个MapReduce程序过程详细记录总结
开发环境搭建参考     <Hadoop 在Windows7操作系统下使用Eclipse来搭建Hadoop开发环境>: http://www.linuxidc.com/Linux/2014-12/111061.htm
星哥玩云
2022/07/03
8630
Hadoop 调试第一个MapReduce程序过程详细记录总结
Hadoop-2.5.2平台环境搭建遇到的问题
重点检查my.cnf文件,所有目录的创建,权限,初始化命令参数。 关于my.cnf的详细介绍参考:MySQL 配置文件 my.cnf / my.ini 逐行解析 原文内容:
火之高兴
2024/07/25
1750
Hadoop-2.5.2平台环境搭建遇到的问题
Hadoop分布式集群环境搭建
之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的分布式集群环境,所以本文将简单介绍一下如何在多台机器上搭建Hadoop的分布式环境。
端碗吹水
2020/09/23
2.1K0
Hadoop分布式集群环境搭建
Mac hadoop + hive整合s3-伪分布式环境
JDK: java1.8 路径为:/Library/Java/JavaVirtualMachines/jdk1.8.0_291.jdk/Contents/Home
框框不是欢欢
2022/04/25
1.5K1
Mac hadoop + hive整合s3-伪分布式环境
【详解】Hadoop3.x运行自带的WordCount报错Containerexitedwithanon-zeroexitcode1.
在使用 Hadoop 3.x 版本运行经典的 MapReduce 示例程序 WordCount 时,有时会遇到错误信息:“Container exited with a non-zero exit code 1”。本文将探讨该问题的原因及解决方法。
大盘鸡拌面
2025/07/23
640
spark-shell --master yarn-client(异常已经解决)
可能是spark-shell --master yarn-client过时了,但是换成spark-shell --master yarn --deploy-mode client,依然报错。
程裕强
2022/05/06
1.4K0
spark-shell --master yarn-client(异常已经解决)
MapReduce报错:「MKDirs failed to create file」
MapReduce报错:「MKDirs failed to create file」 0. 写在前面 1. 程序代码及报错信息 输入、输出路径 程序代码 报错信息 2. 查找资料 3. 原因分析 4. 参考 ---- ---- 0. 写在前面 Linux:Ubuntu Kylin16.04 Hadoop:Hadoop2.7.2 1. 程序代码及报错信息 输入、输出路径 zhangsan@hadoop01:/$ ll | grep input drwxr-xr-x 3 zhangsan zhang
WHYBIGDATA
2023/01/31
5020
MapReduce报错:「MKDirs failed to create file」
Hadoop基础教程-第5章 YARN:资源调度平台(5.6 YARN的命令)
使用: yarn classpath 打印需要得到Hadoop的jar和所需要的lib包路径
程裕强
2022/05/06
7000
Windows启动HDFS报错 - Could not locate Hadoop executable: E:\soft_work\hadoop-2.6.0\bin\winutils.exe
Windows 7 环境下启动 HDFS,执行 start-dfs.cmd 出现Could not locate Hadoop executable: E:\soft_work\hadoop-3.0.0\bin\winutils.exe,报错信息如下:
夹胡碰
2020/10/27
1.1K0
【七】Hadoop3.3.4基于ubuntu24的分布式集群安装
https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/
火之高兴
2024/07/27
7000
Hadoop-2.7.2分布式安装手册
当前版本的Hadoop已解决了hdfs、yarn和hbase等单点,并支持自动的主备切换。
一见
2019/03/14
2K0
Windows下安装Hadoop
本文介绍了Hadoop在Windows系统上的部署、配置和常见问题解决方案。主要包括Hadoop在Windows系统上的安装、配置和优化,以及在使用过程中可能遇到的错误和解决方案。通过本文,读者可以了解到Hadoop在Windows系统上的部署和配置方法,以及如何解决在使用过程中遇到的问题。
王小雷
2018/01/02
5.8K0
Windows下安装Hadoop
Kylin使用Spark构建Cube
Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 下面是单机安装采坑记,直接上配置和问题解决。 找一台干净的机器,把hadoop hive hbase从原有节点分别拷贝一份,主要目的是配置文件,可以不在kylin所在机器启动相关进程。 开源版本搭建,非整合HDP和CDH。 个别问题解决参考其他博客。 官网http://kylin.apache.org/cn/docs/ MapReduce构建Cube的问题也已解决,所以使用MapReduce构建Cube也是正常的。
王知无-import_bigdata
2020/05/20
2.1K0
分布式资源调度——YARN框架
YARN是Hadoop2.x才有的,所以在介绍YARN之前,我们先看一下MapReduce1.x时所存在的问题:
端碗吹水
2020/09/23
6500
分布式资源调度——YARN框架
相关推荐
Yarn的JobHistory目录权限问题导致MapReduce作业异常
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档