前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Kafka单节点部署

Kafka单节点部署

作者头像
互联网-小阿宇
发布于 2023-10-17 09:59:05
发布于 2023-10-17 09:59:05
76700
代码可运行
举报
文章被收录于专栏:互联网-小阿宇互联网-小阿宇
运行总次数:0
代码可运行
Kafka单节点部署

操作环境

IP地址

操作环境

运行资源

备注

192.168.8.10

Centos7.5

2C8G

JDK、Kafka

一、安装JDK环境


1.1 上传安装包

1.2 解压安装包

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost packages]# tar -zxf jdk-8u171-linux-x64.tar.gz -C /usr/local/
[root@localhost packages]# cd /usr/local
[root@localhost local]# mv jdk1.8.0_171/ java

1.3 编写环境变量文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost local]# vim /etc/profile
#尾部添加
export JAVA_HOME=/usr/local/java
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
[root@localhost local]# source /etc/profile

1.4 验证JDK版本

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost local]# java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

二、安装Kafka


1.1 上传安装包

1.2 创建安装目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mkdir /data

1.3 解压安装包

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost ~]# tar -zxf kafka_2.13-2.4.0.tgz -C /data/
[root@localhost ~]# mv /data/kafka_2.13-2.4.0/ /data/kafka

1.4 创建zookeeper目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost ~]# mkdir -p /data/kafka/zookeeper/data

1.5 编辑zookeeper配置文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost ~]# vim /data/kafka/config/zookeeper.properties

1.6 启动zookeeper

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost ~]# cd /data/kafka/
[root@localhost kafka]# ./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

1.7 验证zookeeper启动

1.8 创建kafka存放日志目录

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost kafka]# mkdir -p /data/kafka/kafka-log

1.9 配置kafka

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost kafka]# vim /data/kafka/config/server.properties 

将文件的内容清空,替换为一下内容

注意IP、端口等其他配置

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
broker.id=0
listeners=PLAINTEXT://192.168.8.10:9092
port=9092
host.name=192.168.8.10
advertised.host.name=192.168.8.10
advertised.port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-log
num.partitions=5
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=24
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.8.10:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

2.0 启动kafka

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@localhost kafka]# cd /data/kafka/
[root@localhost kafka]# ./bin/kafka-server-start.sh -daemon config/server.properties

2.1 验证kafka启动

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-08-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【详解】安装单节点并配置启动Kafka
Apache Kafka 是一个分布式流处理平台,用于构建实时数据管道和流应用。它能够处理大量数据,并且具有高吞吐量、低延迟的特点。本文将详细介绍如何在单节点上安装、配置并启动 Apache Kafka。
大盘鸡拌面
2025/04/22
920
Kafak - 单机/集群快速安装指北(3.x版本)
分别在hadoop103和hadoop104主机上修改配置文件server.properties中broker.id=103、broker.id=104
小小工匠
2023/10/27
3930
Kafak - 单机/集群快速安装指北(3.x版本)
FileBeat + Kafka Logstash+ ElasticSearch+Kibana 搭建日志管理平台
除了kafka以外,其它四个均可以在elastic官网中下载,具体的可以在下载地址选择软件和版本进行下载,本文档都是基于6.0.0的版本操作的 Kafka可以在Apache中下载
BUG弄潮儿
2022/03/08
7350
FileBeat + Kafka Logstash+ ElasticSearch+Kibana 搭建日志管理平台
kafka集群搭建
RabbitMQ是使用Erlang编写的一个开源的消息队列,本身支持很多的协议:AMQP,XMPP, SMTP, STOMP,也正因如此,它非常重量级,更适合于企业级的开发。同时实现了Broker构架,这意味着消息在发送给客户端时先在中心队列排队。对路由,负载均衡或者数据持久化都有很好的支持。
Cyylog
2020/08/19
7320
Kafka 介绍
kafka官网地址:https://github.com/linkedin/kafka-monitor,运行比较简单,只是一个可执行jar(KafkaOffsetMonitor-assembly-0.2.1.jar)。
郭顺发
2021/12/17
2550
Kafka-manager部署与使用简单介绍
Kafka Manager是 Yahoo 推出的 Kafka 开源管理工具,用于管理Apache Kafka集群的工具,用户可以在Web界面执行一些简单的Kafka集群管理操作
yuanfan2012
2020/08/04
3.3K0
Kafka-manager部署与使用简单介绍
Kafka + Zookeeper集群搭建
jdk-8u221 链接:https://pan.baidu.com/s/1uhrtDj-pG3BsTq8tMiZAlg 提取码:26k2
小炜同学
2022/09/23
4790
kafka集群部署
Kafka是一个开源的分布式流处理平台,最初由LinkedIn开发,后来成为了Apache软件基金会的顶级项目。Kafka主要用于构建实时数据管道和流应用,它在大规模数据处理和实时分析领域有着广泛的应用。
运维牛马
2025/03/04
830
kafka单机多实例部署
当前环境:centos7.3一台 软件版本:kafka_2.12 部署目录:/usr/local/kafka 启动端口:9092,9093,9094 配置文件:/usr/local/kafka/config/server.properties
陈不成i
2021/07/06
7830
搭建Zookeeper、Kafka集群
https://www.oiox.cn/index.php/start-page.html
小陈运维
2025/04/12
1010
Kafka分布式消息系统(搭建Kafka集群) - Part.3
在前面两篇文章中,我们了解了基本概念,也安装、配置好了zookeeper集群,在这篇文章中,我们将一步步搭建kafka集群。
张子阳
2018/09/29
6820
zookeeper与kafka集群搭建与测试
本文介绍的zookeeper版本是 zookeeper-3.4.8,kafka版本是 kafka_2.12-1.0.0 准备好三台机器 192.168.1.1、192.168.1.2、192.168.1.3 JDK搭建 从官网下载jdk,假设解压在 /usr/local/java/jdk1.8.0_60目录下,编辑 /etc/profile 文件,设置如下环境变量 JAVA_HOME=/usr/java/jdk1.8.0_60 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=$
devinxu
2018/07/11
5280
centos7单机安装kafka,进行生产者消费者测试
原文出处:http://www.yund.tech/zdetail.html?type=1&id=3028469704c7976aef5b824811dd3bf5 作者:jstarseven  一、k
大道七哥
2019/08/23
7060
centos7单机安装kafka,进行生产者消费者测试
Kafka+ZooKeeper高可用集群部署
我这里并没有设置专业的存储设备,大家用到生产中一定要把数据存储到专业的存储设备或者带有冗余设备的磁盘上
小小科
2020/07/14
2.3K0
ELK+FileBeat+Kafka分布式系统搭建图文教程
filebeat收集需要提取的日志文件,将日志文件转存到kafka集群中,logstash处理kafka日志,格式化处理,并将日志输出到elasticsearch中,前台页面通过kibana展示日志。
王知无-import_bigdata
2020/08/20
2K0
ELK+FileBeat+Kafka分布式系统搭建图文教程
GoFastDFS单节点部署
互联网-小阿宇
2023/10/17
4380
GoFastDFS单节点部署
kafka介绍和常见操作
RabbitMQ:支持消息的可靠的传递,支持事务,不支持批量操作,基于存储的可靠性的要求存储可以采用内存或硬盘,吞吐量小。
章工运维
2023/05/19
3010
一步步教你搭建Kafka开发环境,轻松上手!
(1)登录官网下载地址https://www.oracle.com/java/technologies/downloads/#java8,找到对应压缩包。
Lion Long
2025/01/16
6530
一步步教你搭建Kafka开发环境,轻松上手!
大数据消息处理中间件之kafka win10快速部署
kafka官网:http://kafka.apache.org/documentation/
静谧星空TEL
2021/04/27
1.2K0
大数据消息处理中间件之kafka win10快速部署
kafka集群部署
当前环境:centos7.3三台 软件版本:kafka_2.12 部署目录:/usr/local/kafka 启动端口:9092 配置文件:/usr/local/kafka/config/server.properties
陈不成i
2021/07/06
4610
相关推荐
【详解】安装单节点并配置启动Kafka
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验