Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >日常问题———Attempting to operate on hdfs namenode as root

日常问题———Attempting to operate on hdfs namenode as root

作者头像
栗筝i
发布于 2022-12-01 00:50:36
发布于 2022-12-01 00:50:36
73800
代码可运行
举报
文章被收录于专栏:迁移内容迁移内容
运行总次数:0
代码可运行

写在最前注意: 1、master,slave都需要修改start-dfs.sh,stop-dfs.sh,start-yarn.sh,stop-yarn.sh四个文件 2、如果你的Hadoop是另外启用其它用户来启动,记得将root改为对应用户

HDFS格式化后启动dfs出现以下错误:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@master sbin]# ./start-dfs.sh
Starting namenodes on [master]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [slave1]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

查度娘,见一仁兄的博客有次FAQ,故参考处理顺便再做一记录 参考地址:https://blog.csdn.net/u013725455/article/details/70147331

在/hadoop/sbin路径下: 将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

还有,start-yarn.sh,stop-yarn.sh顶部也需添加以下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改后重启 ./start-dfs.sh,成功!

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@master sbin]# ./start-dfs.sh
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.
Starting namenodes on [master]
上一次登录:日 63 03:01:37 CST 2018从 slave1pts/2master: Warning: Permanently added 'master,192.168.43.161' (ECDSA) to the list of known hosts.
Starting datanodes
上一次登录:日 63 04:09:05 CST 2018pts/1 上
Starting secondary namenodes [slave1]
上一次登录:日 63 04:09:08 CST 2018pts/1
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-06-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Hadoop初始化不成功,Start-all报错
使用root配置的hadoop并启动会出现报错 解决方法: 在Hadoop安装目录下找到sbin文件夹 在里面修改四个文件 1、对于start-dfs.sh和stop-dfs.sh文件,添加下列参数: #!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 2、对于start-yarn.sh和stop-ya
Swingz
2021/12/07
8310
Hadoop初始化不成功,Start-all报错
【赵渝强老师】基于ZooKeeper实现Hadoop HA
由于在HA架构中包含的节点比较多,在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA,它们分别是:bigdata112、bigdata113、bigdata114和bigdata115。由于Hadoop默认包含了HDFS和Yarn,因此在部署HDFS HA的时候,也可以同时部署Yarn的HA。每个节点上部署的服务如下表所示:
赵渝强老师
2024/09/18
1740
【赵渝强老师】基于ZooKeeper实现Hadoop HA
hadoop3.0搭建本地模式和伪分布模式
将jdk和hadoop的压缩包放在服务器的/root/myhadoop 目录下,解压
用户1409099
2019/05/14
1.3K0
hadoop-3.2.0------>入门十三 完全分布式群起集群
注意:3.0之后的版本是修改 workers,2.0的版本是修改salves
用户5899361
2020/12/07
6020
hadoop-3.2.0------>入门十三 完全分布式群起集群
最新版本——Hadoop3.3.6单机版完全部署指南
本文基于最新的 Hadoop 3.3.6 的版本编写,带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践,实践是大数据学习的重要环节,也能在实践中对该技术有更深的理解,所以一些理论知识建议大家多阅读相关的书籍(都在资料包中)。
大数据流动
2023/12/07
1.3K0
最新版本——Hadoop3.3.6单机版完全部署指南
CentOS 7安装Hadoop 3.0.0
最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了。网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装Hadoop 3.0.0的整个过程记录下来,有什么不对的地方大家可以留言更正。   一、ssh免密登录 1、测试是否能免密登录       # ssh localhost The authenticity of host 'localhost (::1)' can't be established. 2、设置免密登录 1)、去掉 /etc/ssh/ss
庞小明
2018/03/29
2K0
CentOS 7安装Hadoop 3.0.0
hdfs集群安装(单namenode和HA模式)
至此hadoop1和hadoop2已经启用了namenode的高可用特性,其通过zk自动选举。具体如下图所示:
从大数据到人工智能
2022/01/19
8270
hdfs集群安装(单namenode和HA模式)
Hadoop入门之分布式部署
环境说明 主机 主机名 节点名 192.168.10.147 node1 NameNode(master) 192.168.10.207 node2 DataNode1 192.168.10.211 node3 DataNode2 192.168.10.212 node4 DataNode3 系统环境:Centos 7.6 Hadoop版本:hadoop-3.2.1 java版本:java-1.8.0 安装说明 部署位置:/usr/local/hadoop 配置本地hosts,并配置各个节点之间ssh访问
阿dai学长
2020/02/14
4520
Hadoop入门之分布式部署
我攻克的技术难题 - 如何快速搭建Hadoop3集群
距离唯一一次搭建Hadoop集群,已是六年有余。那时候大数据的学习资料还是我从某宝25买来的,如今大数据已遍地开花。最近想写一些关于大数据的东西,例如Spark、flink等,想放在Yarn上跑,所以就从Hadoop的搭建开始写起。
叫我阿柒啊
2024/01/18
6741
我攻克的技术难题 - 如何快速搭建Hadoop3集群
Linux下的如何快速安装Hadoop
大家都对大数据感兴趣,但是大家都没有想去如何实践到地方,如何落实去学习Hadoop,我们学习任何一门技术的时候,都不用想,上来肯定是去安装,然后去实践,不得不说,现在你去网上搜索,如何安装Hadoop,那很多出来的都是从 Unbutu 系统下如何安装,很多也都讲解的不是很清楚,阿粉也比较想学习,所以就准备了如何安装 Hadoop 的 Linux 的教程,大家上手就能学习。阿粉就开始给大家写一个安装 Hadoop 的教程。
Java极客技术
2022/12/02
2.1K0
Linux下的如何快速安装Hadoop
hadoop集群搭建
其他两台机器改一下我们的hostname就行了 node2 node3(重复上面的操作)
背雷管的小青年
2020/08/24
3.3K0
学习大数据从安装Hadoop开始(单机版)
最近上手学习大数据,大数据当然离不开核心的Hadoop,所以首先要搭建一个Hadoop环境。我本机电脑配置不太高,又是学习阶段,所以就整个单机版的玩玩,下面记录一下步骤,希望对大家有所帮助。
java技术爱好者
2021/12/31
4920
学习大数据从安装Hadoop开始(单机版)
centos7搭建hadoop3.*.*系列
 最近搭建这个hadoop踩过不少坑,先是配置JDK搞错路径(普通用户和root用户下的路径不同),再就是hadoop版本不同导致的启动错误,网上找到的是hadoop2.*.*的版本,但是我安装的hadoop3.*.*的版本,环境配置有部分不同。希望大家不要重蹈覆辙!
孙晨c
2019/09/10
8160
centos7搭建hadoop3.*.*系列
hadoop2.x全分布式集群搭建(一主二从)
然后生成了id_rsa与id_rsa.pub,分别是私有与公有秘钥,我们要把公有秘钥复制到一个authorized_keys文件内,这个文件的作用就是完成无密码访问。 然后执行:
孙晨c
2020/05/26
5530
Hadoop(一)Hadoop核心架构与安装
大白话,Hadoop是个存储数据,计算数据的分布式框架。核心组件是HDFS、MapReduce、Yarn。
Chester Chen
2022/08/18
7020
Hadoop(一)Hadoop核心架构与安装
Docker部署Hadoop集群
3台主机:1个master、2个slaver/worker ip地址使用docker默认的分配地址:
Java帮帮
2018/12/29
1.8K0
Hadoop伪分布式安装
进入文件之后,除了127.0.0.1以及::1这开头的两行以外,其余的行全部删除
青灯古酒
2023/10/16
4440
史上最强hadoop分布式集群的搭建
原文首发CSDN:https://blog.csdn.net/weixin_44510615/article/details/104625802
润森
2020/03/12
6600
Hadoop单机伪分布式部署
Hadoop 在单节点上以伪分布式模式运行,其中每个 Hadoop 守护进程在单独的 Java 进程中运行。
云原生
2022/09/01
3760
Hadoop单机伪分布式部署
搭建hadoop集群的三种方式_hadoop集群部署
安装VMware,使用三台 Ubuntu18.04 虚拟机进行集群搭建,下面是每台虚拟机的规划:
全栈程序员站长
2022/11/17
2.2K0
搭建hadoop集群的三种方式_hadoop集群部署
相关推荐
Hadoop初始化不成功,Start-all报错
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验