前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >hadoop集群知识小结

hadoop集群知识小结

原创
作者头像
软件架构师Michael
发布于 2022-06-03 01:54:26
发布于 2022-06-03 01:54:26
32900
代码可运行
举报
运行总次数:0
代码可运行

hadoop集群启动/停止方式总结

1 ) 各个模块分开启动/ 停止 (配置 ssh 是前提) 常用

(1)整体启动/停止 HDFS

[hadoop@hadoop102 sbin]$ ./start-dfs.sh

(2)整体启动/停止 YARN

[hadoop@hadoop103 sbin]$ ./start-yarn.sh

2 ) 各个服务组件逐一启动/ 停止

(1)分别启动/停止 HDFS 组件

(2)启动/停止 YARN

编写 Hadoop 集群常用脚本

1 )Hadoop 集群启停脚本(包含 HDFS ,Yarn ,Historyserver ):

切换到hadoop3.1.3的bin目录,然后创建文件myhadoop.sh

myhadoop.sh路径
myhadoop.sh路径

myhadoop.sh脚本如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/bin/bash 
 
if [ $# -lt 1 ] 
then 
    echo "No Args Input..." 
    exit ; 
fi 
 
case $1 in 
"start") 
        echo " =================== 启动 hadoop 集群 ===================" 
 
        echo " --------------- 启动 hdfs ---------------" 
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh" 
        echo " --------------- 启动 yarn ---------------" 
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh" 
        echo " --------------- 启动 historyserver ---------------" 
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver" 
;; 
"stop") 
        echo " =================== 关闭 hadoop 集群 ===================" 
 
        echo " --------------- 关闭 historyserver ---------------" 
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver" 
        echo " --------------- 关闭 yarn ---------------" 
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh" 
        echo " --------------- 关闭 hdfs ---------------" 
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh" 
;; 
*) 
    echo "Input Args Error..." 
;; 
esac 

保存后退出,然后赋予脚本执行权限

chmod +x myhadoop.sh

测试myhadoop.sh

测试myhadoop.sh效果
测试myhadoop.sh效果

2 )查看三台服务器 Java 进程脚本:jpsall

同样切换到切换到hadoop3.1.3的bin目录,然后创建文件jpsall.sh

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/bin/bash 
 
for host in hadoop102 hadoop103 hadoop104 
do 
        echo =============== $host =============== 
        ssh $host jps  
done 

保存后退出,然后赋予脚本执行权限

chmod +x jpsall.sh

测试jpsall.sh

测试jpsall.sh效果
测试jpsall.sh效果

3 )分发/home/leokadia/bin 目录,保证自定义脚本在三台机器上都可以使用

xsync myhadoop.sh

xsync jpsall.sh

在hadoop103、104上测试下能否正常使用

在hadoop103上测试jpsall.sh
在hadoop103上测试jpsall.sh
在hadoop104上测试jpsall.sh
在hadoop104上测试jpsall.sh

hadoop集群知识小结:

1.常用端口号

hadoop3.x

HDFS NameNode 内部通信端口:8020/9000/9820

HDFS NameNode 对用户的查询端口:9870

Yarn查看任务运行情况的:8088

历史服务器:19888

hadoop2.x

HDFS NameNode 内部通信端口:8020/9000

HDFS NameNode 对用户的查询端口:50070

Yarn查看任务运行情况的:8088

历史服务器:19888

2.常用的配置

hadoop3.x

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

workers

hadoop2.x

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

slaves

【小结】

走到这一步,hadoop就算入门了。继续前进...

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
计算机网络(一)计算机网络概述
网络核心的关键功能:路由 + 转发 路由:用路由算法确定分组从源到目的传输路径 转发:将分组从路由器的输入端口交换至正确的输出端口
星辉
2019/01/15
7240
计算机网络学习笔记--计算机网络概述
为了更好的理解Internet(互联网)这个概念,先从简单的网络概念说起:通俗的理解网络,就是由许多节点和边组成的系统。当我们把这些节点和边具象化之后,计算机网络以及Internet的概念就更容易理解了。
花猪
2022/02/16
2.5K0
计算机网络学习笔记--计算机网络概述
计算机网路概述(上)
cheese
2023/10/25
3520
计算机网路概述(上)
【计算机网络】计算机网络(谢希仁-第八版)课后习题-第一章习题全解
1)连通性:互联网用户之间,不管距离多远,都可以便捷、经济地交换各种信息,好像这些用户彼此都相互连通一样。 2)资源共享:可以是信息共享、软件共享、硬件共享等。
程序员洲洲
2024/06/17
5K0
计算机网络 | 关键知识点与习题集锦(上)
这个就是笔者【计算机网络】的绩点截图啦,一般般算还行 大佬们看到就当这边班门弄斧、贻笑大方啦~ 当时卷面是空了一个填空题,丢了两分,平时分有一次有事情请假了一节课,就分数比较低啦 好啦那话不多说,笔者经此一着,决定把当时总结整理的知识点和题集再次整理上来,同各位互联网道友一道分享,无论是学生在读 还是已入职场 或是在准备面试的朋友老铁亲们,想来应是很有帮助的。 这波主要是【计算机网络】的一些知识点和题目,分上、下两篇博客发布,每篇应该是有好几千字叭, 收集整理不易,若亲们觉着有用,便请亲们自取啦~ 笔者在此感谢亲们支持~
凌川江雪
2020/12/07
7920
计算机网络 | 关键知识点与习题集锦(上)
【计算机网络】计算机网络概述 : 总结 ( 概念 | 组成 | 功能 | 分类 | 性能指标 | OSI 七层参考模型 | TCP/IP 模型 | 五层参考模型 )★★★
参考博客 : 【计算机网络】计算机网络 相关概念 ( 计算机网络概念 | 计算机网络功能 | 组成 | 工作方式 | 功能组成 | 分类 )
韩曙亮
2023/03/28
1.6K0
计算机网络 1 -因特网概述
internet 是一个通用名词, 泛指多个计算机网络互连而成的网络. 在这些网络之间的通信协议可以是任意的
Rikka
2022/01/19
1.7K0
计算机网络 1 -因特网概述
计算机网络复习
h3110_w0r1d
2024/04/11
1370
计算机网络复习
从零开始的计网学习——计算机网络概述(计网入门就看这篇!)
以上都是本从零开始系列的计网学习其他几个章节,各位想学习计网的其他内容的可以关注一下。
全栈程序员站长
2022/09/02
6330
从零开始的计网学习——计算机网络概述(计网入门就看这篇!)
【计算机网络】第一章 概述
注意:互联网 ≠互连网。互连网:局部范围互连起来的计算机网络。 互联网的 2 个重要基本特点
SarPro
2024/03/16
1390
【计算机网络】第一章 概述
计算机网络
因特网现已发展成为世界上最大的国际性计算机互联网,网络(network)由若干结点(node)和连接这些结点的链路(link)组成。 互联网是“网络的网络”(network of networks)。 连接在因特网上的计算机都称为主机(host)网络把许多计算机连接在一起。因特网把许多网络连接在一起。
十二惊惶
2024/02/28
1690
计算机网络
计算机网络(一)—— 概述
单个分组(这只是整个报文的一部分)传送到相邻节点,存储下来后查找转发表,转发到下一个节点
繁依Fanyi
2023/05/07
4510
计算机网络(一)—— 概述
计算机网络概述(下)
cheese
2023/10/25
6140
计算机网络概述(下)
计算机网络笔记之第一章概述
  如今计算机网络早已融入生活中的方方面面,”互联网+“充斥着我们的生活。那么我们就有必要了解一下网络。  课本:谢希仁《计算机网络(第六版)》  首先,从总体上了解计算机网络,走进计算机网络的大门。 在学习之前,总会有一些疑问。  1在生活中,计算机网络扮演着什么角色呢?计算机网络有什么作用?  2什么是计算机网络?什么是互联网?什么是因特网?  3为什么叫课本叫计算机网络,而不是叫互联网或者因特网呢?   4因特网的历史,它是怎样发展变化的?建立的初衷是什么?  5因特网是怎样组成的?  6日常生活中的
用户1631856
2018/04/12
1.2K0
计算机网络笔记之第一章概述
计算机网络学习--概述
第一章 概述 第二章 物理层 第三章 数据链路层 第四章 网络层 第五章 传输层 第六章 应用层
shimeath
2020/08/02
4910
计算机网络和因特网
本篇是第一章计算机网络和因特网的读书笔记,从整体上粗线条地勾勒岀计算机网络的概貌,并给出一个端到端吞吐量和时延的简单定量模型
中龙技术
2022/09/30
1.3K0
计算机网络和因特网
计算机网络--概论
对于网络,我觉得就是打CS,开个玩笑(反恐精英玩过吧//滑稽),就是在一个不跟外界连接的网吧里面,有好多电脑,然后通过交换机我们可以实现信息共享。请看图(当然,当交换机上的接口足够多的话,我们可以连接尽可能多的机子)
杨鹏伟
2020/09/10
8010
计算机网络(谢希仁第八版)第一章:概述
Internet(译名:因特网,目前使用最广泛的译名为:==互联网==(不是互连网internet))采用TCP/IP协议族作为通信规则,其前身为美国的ARPANET。
roydonGuo
2022/11/02
1.8K0
计算机网络(谢希仁第八版)第一章:概述
【计算机网络】概述
【计算机网络】-复习篇(含习题及答案 1. 第一章 概述 1.1 计算机网络在信息时代中的作用 1.2 互联网概述 1.3 互联网的组成 1.4 计算机网络在我国的发展 1.5 计算机网络的定义 1.6 计算机网络的性能 1.7 计算机网络体系结构 1. 第一章 概述 1.1 计算机网络在信息时代中的作用 计算机网络是互连、自治的计算机集合 网络包含 【电信网络、有线电视网络、计算机网络】 Internet 译名两种 (因特网、互联网) 互联网的两个基本特点 (连通性、共享性) 连通性: 距离上连通 共
司六米希
2022/11/15
4760
【计算机网络】概述
1-计算机网络和因特网
如果ISDN的带宽为 128kbps,OC-48的带宽为 2.488 Gbps,如果用ISDN传输一张装满数据的1.44M软盘,用OC-48传输装满10G的硬盘数据,问哪一种传输所用的时间更少?
Ywrby
2022/10/27
2.3K0
1-计算机网络和因特网
推荐阅读
相关推荐
计算机网络(一)计算机网络概述
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验