首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Hadoop HDFS-端口&web管理

Hadoop HDFS-端口&web管理

作者头像
运维小路
发布2025-07-24 17:45:31
发布2025-07-24 17:45:31
1590
举报
文章被收录于专栏:运维小路运维小路

作者介绍:简历上没有一个精通的运维工程师,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。

中间件,我给它的定义就是为了实现某系业务功能依赖的软件,包括如下部分:

Web服务器

代理服务器

ZooKeeper

Kafka

RabbitMQ

Hadoop HDFS(本章节)

我们的高可用集群部署完成以后,不同的进程会监听不同的端口,下面我们就来详细介绍下端口

1. NameNode 服务

属性

说明

进程名

NameNode

HDFS 元数据管理核心服务

Web UI 端口

192.168.31.161:9870 (HTTP)

集群管理界面:文件浏览、节点状态、容量监控等

RPC 端口

192.168.31.161:8020

核心通信端口:客户端操作、DataNode 上报块信息

配置文件

hdfs-site.xml

关键配置项:dfs.namenode.rpc-address (8020)dfs.namenode.http-address (9870)

访问方式

Web:http://node1:9870

浏览器访问集群概览

健康检查

hdfs haadmin -getServiceState nn1

检查 Active/Standby 状态

2. JournalNode 服务

属性

说明

进程名

JournalNode

HDFS HA 共享编辑日志服务

HTTP 端口

0.0.0.0:8480 (HTTP)

极简状态页:仅显示基础信息(如 "JournalNode at http://0.0.0.0:8480")

RPC 端口

0.0.0.0:8485

核心服务端口:Active/Standby NameNode 同步元数据

数据存储

dfs.journalnode.edits.dir

编辑日志存储目录(需确保磁盘空间充足)

配置文件

hdfs-site.xml

关键配置项:dfs.journalnode.http-address (8480)dfs.journalnode.rpc-address (8485)

访问验证

curl http://localhost:8480

预期返回 HTTP 200 和一行文本

3. DataNode 服务

属性

说明

进程名

DataNode

数据块存储服务

Web UI 端口

0.0.0.0:50075 (HTTP)

单节点管理界面:磁盘状态、块列表、日志查看等

数据端口

0.0.0.0:50010 (TCP)

客户端数据读写端口(块传输)

IPC 端口

0.0.0.0:50020 (IPC)

内部通信端口:接收 NameNode 指令

本地管理端口

127.0.0.1:39954 (TCP)

JMX 监控端口

配置文件

hdfs-site.xml

关键配置项:dfs.datanode.address (50010)dfs.datanode.http.address (50075)

访问方式

Web:http://node1:50075

查看该 DataNode 的详细状态

其实这里最常用的是NameNode 服务的web端口,因为他不仅可以查看集群状态,还可以进行文件上传下载操作,其他使用相对较少。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-07-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 运维小路 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. NameNode 服务
  • 2. JournalNode 服务
  • 3. DataNode 服务
  • 其实这里最常用的是NameNode 服务的web端口,因为他不仅可以查看集群状态,还可以进行文件上传下载操作,其他使用相对较少。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档