首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Linux 单机部署 Kafka 详细教程(CentOS 7+)

Linux 单机部署 Kafka 详细教程(CentOS 7+)

作者头像
SmileNicky
发布2025-08-13 08:30:22
发布2025-08-13 08:30:22
96900
代码可运行
举报
文章被收录于专栏:Nicky's blogNicky's blog
运行总次数:0
代码可运行

系列博客专栏:

一、环境准备

1. 操作系统要求

Kafka 可以在多种 Linux 发行版上运行,本文以 CentOS 7 为例,其他发行版步骤类似,只需调整包管理命令。

2. Java 环境要求

Kafka 基于 Java 开发,需安装 JDK 8 或以上版本

代码语言:javascript
代码运行次数:0
运行
复制
java -version

若已安装,将输出示例:

代码语言:javascript
代码运行次数:0
运行
复制
openjdk version "1.8.0_362"
OpenJDK Runtime Environment (build 1.8.0_362-b09)
OpenJDK 64-Bit Server VM (build 25.362-b09, mixed mode)

二、安装 JDK

1. 下载 JDK
代码语言:javascript
代码运行次数:0
运行
复制
wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
2. 解压安装包
代码语言:javascript
代码运行次数:0
运行
复制
mkdir -p /usr/local/java
tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz -C /usr/local/java
3. 配置环境变量

/etc/profile 末尾追加:

代码语言:javascript
代码运行次数:0
运行
复制
export JAVA_HOME=/usr/local/java/jdk1.8.0_41
export PATH=$PATH:$JAVA_HOME/bin

使配置生效:

代码语言:javascript
代码运行次数:0
运行
复制
source /etc/profile
4. 验证安装
代码语言:javascript
代码运行次数:0
运行
复制
java -version

三、安装并配置 ZooKeeper

Kafka 依赖 ZooKeeper 管理集群,建议独立安装。

1. 下载 ZooKeeper
代码语言:javascript
代码运行次数:0
运行
复制
wget https://downloads.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
2. 解压安装包
代码语言:javascript
代码运行次数:0
运行
复制
mkdir -p /usr/local/zookeeper
tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz -C /usr/local/zookeeper
3. 配置 ZooKeeper
(1) 创建数据与日志目录
代码语言:javascript
代码运行次数:0
运行
复制
mkdir -p /usr/local/zookeeper/data
mkdir -p /usr/local/zookeeper/logs
(2) 修改配置文件
代码语言:javascript
代码运行次数:0
运行
复制
cd /usr/local/zookeeper/apache-zookeeper-3.8.4-bin/conf
cp zoo_sample.cfg zoo.cfg

编辑 zoo.cfg

代码语言:javascript
代码运行次数:0
运行
复制
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logs
clientPort=2181
(3) 集群配置(可选)

单机可跳过。集群模式需添加:

代码语言:javascript
代码运行次数:0
运行
复制
server.1=192.168.1.101:2888:3888
server.2=192.168.1.102:2888:3888
server.3=192.168.1.103:2888:3888

并在每个节点的 dataDir 中创建 myid

代码语言:javascript
代码运行次数:0
运行
复制
echo 1 > /usr/local/zookeeper/data/myid
(4) 配置环境变量
代码语言:javascript
代码运行次数:0
运行
复制
echo 'export ZOOKEEPER_HOME=/usr/local/zookeeper/apache-zookeeper-3.8.4-bin' >> /etc/profile
echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
source /etc/profile
4. 启动与验证
代码语言:javascript
代码运行次数:0
运行
复制
zkServer.sh start
zkServer.sh status   # 单机显示 Mode: standalone
zkServer.sh stop

四、安装 Kafka

1. 下载 Kafka
代码语言:javascript
代码运行次数:0
运行
复制
wget https://archive.apache.org/dist/kafka/3.6.2/kafka_2.12-3.6.2.tgz
2. 解压安装包
代码语言:javascript
代码运行次数:0
运行
复制
mkdir -p /usr/local/kafka
tar -zxvf kafka_2.12-3.6.2.tgz -C /usr/local/kafka
3. 配置 Kafka

编辑 /usr/local/kafka/kafka_2.12-3.6.2/config/server.properties

代码语言:javascript
代码运行次数:0
运行
复制
broker.id=0
listeners=PLAINTEXT://your_ip:9092
log.dirs=/usr/local/kafka/kafka-logs
zookeeper.connect=localhost:2181

创建日志目录:

代码语言:javascript
代码运行次数:0
运行
复制
mkdir -p /usr/local/kafka/kafka-logs

五、启动 Kafka 服务

1. 启动顺序

确保 ZooKeeper 已启动:

代码语言:javascript
代码运行次数:0
运行
复制
zkServer.sh start

启动 Kafka:

代码语言:javascript
代码运行次数:0
运行
复制
./usr/local/kafka/kafka_2.12-3.6.2/bin/kafka-server-start.sh -daemon /usr/local/kafka/kafka_2.12-3.6.2/config/server.properties
2. 验证进程
代码语言:javascript
代码运行次数:0
运行
复制
jps

输出应包含:

代码语言:javascript
代码运行次数:0
运行
复制
QuorumPeerMain
Kafka

六、停止服务

代码语言:javascript
代码运行次数:0
运行
复制
# 停止 Kafka
./usr/local/kafka/kafka_2.12-3.6.2/bin/kafka-server-stop.sh

# 停止 ZooKeeper
zkServer.sh stop

七、测试 Kafka

1. 创建主题
代码语言:javascript
代码运行次数:0
运行
复制
./usr/local/kafka/kafka_2.12-3.6.2/bin/kafka-topics.sh \
  --create \
  --topic test-topic \
  --bootstrap-server localhost:9092 \
  --replication-factor 1 \
  --partitions 1
2. 查看主题列表
代码语言:javascript
代码运行次数:0
运行
复制
./usr/local/kafka/kafka_2.12-3.6.2/bin/kafka-topics.sh --list --bootstrap-server localhost:9092
3. 发送消息
代码语言:javascript
代码运行次数:0
运行
复制
./usr/local/kafka/kafka_2.12-3.6.2/bin/kafka-console-producer.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic

输入内容后按 Enter 发送。

4. 消费消息(新终端)
代码语言:javascript
代码运行次数:0
运行
复制
./usr/local/kafka/kafka_2.12-3.6.2/bin/kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 \
  --topic test-topic \
  --from-beginning

八、总结

通过以上步骤,已在 Linux 系统成功独立安装配置了 ZooKeeperKafka。 后续可根据需求扩展为集群、调整性能参数或集成其他组件。

祝你顺利搭建 Kafka 消息系统!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2025-08-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、环境准备
    • 1. 操作系统要求
    • 2. Java 环境要求
  • 二、安装 JDK
    • 1. 下载 JDK
    • 2. 解压安装包
    • 3. 配置环境变量
    • 4. 验证安装
  • 三、安装并配置 ZooKeeper
    • 1. 下载 ZooKeeper
    • 2. 解压安装包
    • 3. 配置 ZooKeeper
      • (1) 创建数据与日志目录
      • (2) 修改配置文件
      • (3) 集群配置(可选)
      • (4) 配置环境变量
    • 4. 启动与验证
  • 四、安装 Kafka
    • 1. 下载 Kafka
    • 2. 解压安装包
    • 3. 配置 Kafka
  • 五、启动 Kafka 服务
    • 1. 启动顺序
    • 2. 验证进程
  • 六、停止服务
  • 七、测试 Kafka
    • 1. 创建主题
    • 2. 查看主题列表
    • 3. 发送消息
    • 4. 消费消息(新终端)
  • 八、总结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档