作者介绍:简历上没有一个精通的运维工程师,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。
中间件,我给它的定义就是为了实现某系业务功能依赖的软件,包括如下部分:
Web服务器
代理服务器
ZooKeeper
Kafka
RabbitMQ
Hadoop HDFS(本章节)
我们的高可用集群部署完成以后,不同的进程会监听不同的端口,下面我们就来详细介绍下端口
属性 | 值 | 说明 |
---|---|---|
进程名 | NameNode | HDFS 元数据管理核心服务 |
Web UI 端口 | 192.168.31.161:9870 (HTTP) | 集群管理界面:文件浏览、节点状态、容量监控等 |
RPC 端口 | 192.168.31.161:8020 | 核心通信端口:客户端操作、DataNode 上报块信息 |
配置文件 | hdfs-site.xml | 关键配置项:dfs.namenode.rpc-address (8020)dfs.namenode.http-address (9870) |
访问方式 | Web:http://node1:9870 | 浏览器访问集群概览 |
健康检查 | hdfs haadmin -getServiceState nn1 | 检查 Active/Standby 状态 |
属性 | 值 | 说明 |
---|---|---|
进程名 | JournalNode | HDFS HA 共享编辑日志服务 |
HTTP 端口 | 0.0.0.0:8480 (HTTP) | 极简状态页:仅显示基础信息(如 "JournalNode at http://0.0.0.0:8480") |
RPC 端口 | 0.0.0.0:8485 | 核心服务端口:Active/Standby NameNode 同步元数据 |
数据存储 | dfs.journalnode.edits.dir | 编辑日志存储目录(需确保磁盘空间充足) |
配置文件 | hdfs-site.xml | 关键配置项:dfs.journalnode.http-address (8480)dfs.journalnode.rpc-address (8485) |
访问验证 | curl http://localhost:8480 | 预期返回 HTTP 200 和一行文本 |
属性 | 值 | 说明 |
---|---|---|
进程名 | DataNode | 数据块存储服务 |
Web UI 端口 | 0.0.0.0:50075 (HTTP) | 单节点管理界面:磁盘状态、块列表、日志查看等 |
数据端口 | 0.0.0.0:50010 (TCP) | 客户端数据读写端口(块传输) |
IPC 端口 | 0.0.0.0:50020 (IPC) | 内部通信端口:接收 NameNode 指令 |
本地管理端口 | 127.0.0.1:39954 (TCP) | JMX 监控端口 |
配置文件 | hdfs-site.xml | 关键配置项:dfs.datanode.address (50010)dfs.datanode.http.address (50075) |
访问方式 | Web:http://node1:50075 | 查看该 DataNode 的详细状态 |