日常Topic操作这里的命令以kafka2.2之后版本进行说明，社区推荐命令指定 --bootstrap-server参数，受kafka安全认证体系的约束，如果使用 --zookeeper 会绕过 Kafka...查看所有topic列表bin/kafka-topics.sh --bootstrap-server broker_host:port --list3....动态修改主题参数以 max.message.bytes为例5.1 增加指定broker的配置bin/kafka-configs.sh --bootstrap-server broker_host:port...__consumer_offsets该主题保存了消费者组的位移数据，默认有50个分区1.1 变更主题副本数如果该主题的副本值已经是 1 了，我们如何增加该主题的副本到3第一步：创建一个 json 文件，...第 2 步，手动删除该主题在磁盘上的分区目录。第 3 步，在 ZooKeeper 中执行 rmr /controller，触发 Controller 重选举，刷新 Controller 缓存。
Kafka 命令行操作 topic 操作 脚本 kafka]$ bin\kafka-topics.sh 命令选项 选项 描述 --alter 更改分区数，副本分配，和/或主题的配置。...--bootstrap-server 必需：要连接的 Kafka 服务器。 如果提供此项，则不需要直接的 Zookeeper 连接。...这仅与 --bootstrap-server 选项一起用于描述和更改代理配置。...要为现有主题删除的主题配置覆盖（请参阅 --config 选项下的配置列表）。...不支持 --bootstrap-server 选项。 --describe 列出给定主题的详细信息。
主题topickafka以topic构建消息队列创建主题需要明确确定：分区数和副本数,zookeeper(旧版)分区数，确定拆分成多少个队列，增加吞吐副本数，确定队列的可靠性zookeeper存储基本的信息...，比如客户端配置分区和副本的数量，需要根据业务的吞吐量和稳定性要求进行评估kafka支持修改topic，支持增加分区，不支持减少分区，这个时候消息队列消息的顺序会受影响，修改时需要三思，另外一个思路是新建一个...topic，双写，进行数据切换常用的工具自带的shell工具kafka-admin分区分区可以通过参数，实现优先副本。...kafka支持rebalance.enable参数控制计算分区是否均衡，如果分区不平衡，自动进行leader再选举节点宕机时，kafka支持分区再分配，进行节点迁移kafka不支持自动迁移，比如新增或减少机器...可以对kafka进行性能测试。
topic 管理 kafka-topics.sh 脚本 # 创建主题 $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --partitions...--delete --zookeeper localhost:2181 --topic test-topic # 查询主题列表 $ bin/kafka-topics.sh --zookeeper localhost...:2181 --list # 查询主题详情 $ bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test-topic...# 修改主题 $ bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 64 --topic test-topic #...--broker-list localhost:9200 --topic test --time -2 # 以上两个数相减，即可得出 topic 当前在集群的消息总数
Broker差异 主从差异: kafka的master/slave是基于partition维度的，而rocketmq是基于broker维度的；kafka的master/slave是可以切换的，而rocketmq...服务治理： kafka用zookeeper来做服务发现和治理，broker和consumer都会向其注册自身信息，同时订阅相应的znode，这样当有broker或者consumer宕机时能立刻感知，做相应的调整...Producer差异 发送方式：kafka默认使用异步发送的形式，有一个memory buffer暂存消息，同时会将多个消息整合成一个数据包发送，这样能提高吞吐量，但对消息的实效有些影响；rocketmq...Consumer差异 消息过滤: rocketmq的queue和kafka的partition对应，但rocketmq的topic还能更加细分，可对消息加tag，同时订阅时也可指定特定的tag来对消息做更进一步的过滤...kafka支持定时确认，拉取到消息自动确认和手动确认，offset存在zookeeper上。
,则 --zookeeper可以不需要 –bootstrap-server localhost:9092 --zookeeper 弃用, 通过zk的连接方式连接到kafka集群; –zookeeper...;冒号隔开表示副本 --config 用来设置topic级别的配置以覆盖默认配置;只在–create 和–bootstrap-server 同时使用时候生效; 可以配置的参数列表请看文末附件 例如覆盖两个配置...参数 描述 例子 --bootstrap-server 指定kafka服务 指定连接到的kafka服务; 如果有这个参数,则 --zookeeper可以不需要 –bootstrap-server localhost...；不展示分区信息 --topics-with-overrides 5.查询Topic列表 1.查询所有Topic列表 sh bin/kafka-topics.sh --bootstrap-server...xxxxxx:9092 --list --exclude-internal 2.查询匹配Topic列表(正则表达式) 查询test_create_开头的所有Topic列表 sh bin/kafka-topics.sh
将 Kafka 作为 Systemd 服务运行Apache Kafka 软件包包括另一个应用程序 Zookeeper，用于集中服务和维护 Kafka 控制器选择、主题配置以及 Apache Kafka...集群的 ACL（访问控制列表）。...您将使用脚本“ kafka-topics.sh ”创建一个名为“ TestTopic ”的新主题，其中包含一个复制和分区。...1 --partitions 1 --topic TestTopic现在运行以下命令来验证 Kafka 上的主题列表。...此命令和配置是 Kafka 数据流的默认示例，其中包含您刚刚创建的源文件test.txt,此示例还将自动创建一个新主题“connect-test”，您可以通过 Kafka 控制台消费者访问该主题。
服务 指定连接到的kafka服务; 如果有这个参数,则 --zookeeper可以不需要 –bootstrap-server localhost:9092 --zookeeper 弃用, 通过zk的连接方式连接到...参数 描述 例子 --bootstrap-server 指定kafka服务 指定连接到的kafka服务; 如果有这个参数,则 --zookeeper可以不需要 –bootstrap-server localhost...,比如__consumer_offsets-* --exclude-internal --topics-with-overrides 仅显示已覆盖配置的主题,也就是单独针对Topic设置的配置覆盖默认配置...；不展示分区信息 --topics-with-overrides 5.查询Topic列表 1.查询所有Topic列表 sh bin/kafka-topics.sh --bootstrap-server...xxxxxx:9092 --list --exclude-internal 2.查询匹配Topic列表(正则表达式) 查询test_create_开头的所有Topic列表 sh bin/kafka-topics.sh
参数 描述 例子 --bootstrap-server 指定kafka服务 指定连接到的kafka服务; 如果有这个参数,则 --zookeeper可以不需要 --bootstrap-server...localhost:9092 --zookeeper 弃用, 通过zk的连接方式连接到kafka集群; --zookeeper localhost:2181 或者localhost:2181/kafka... 用来设置topic级别的配置以覆盖默认配置;只在--create 和--bootstrap-server 同时使用时候生效; 可以配置的参数列表请看文末附件...参数 描述 例子 --bootstrap-server 指定kafka服务 指定连接到的kafka服务; 如果有这个参数,则 --zookeeper可以不需要 --bootstrap-server...设置的配置覆盖默认配置；不展示分区信息 --topics-with-overrides 5.查询Topic列表 1.查询所有Topic列表 sh bin/kafka-topics.sh --bootstrap-server
://download.oracle.com/otn-pub/java/jdk/9.0.1+11/jdk-9.0.1_linux-x64_bin.tar.gz 出现这种情况，请先配置wget的代理...-rf kafka_2.11-1.0.0.tgz cd kafka_2.11-1.0.0.tgz 目录： /bin 启动和停止命令等。.../config 配置文件 /libs 类库 6.zookeeper的安装 wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper...-rf kafka_2.11-1.0.0.tgz cd kafka_2.11-1.0.0.tgz 目录： /bin 启动和停止命令等。.../config 配置文件 /libs 类库 6.zookeeper的安装 wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper
查看主题命令 #展示topic列表 ./kafka-topics.sh --list --zookeeper 172.18.153.12:2188 #描述topic ..../kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group group1 #列出所有主题中的所有用户组： ..../kafka-consumer-groups.sh --bootstrap-server 10.1.3.84:9098 --list #要使用ConsumerOffsetChecker查看上一个示例中消费者组的偏移量.../kafka-consumer-groups.sh --bootstrap-server 10.1.3.84:9098 --describe --group group1 #-members: 此选项提供使用者组中所有活动成员的列表...比如在ISR（In-Sync-Replicas）副本数等于3的情况下（如下图所示），消息发送到Leader A之后会更新LEO的值，Follower B和Follower C也会实时拉取Leader A
消息系统：解耦和生产者和消费者、缓存消息等。...运营指标：Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告。...--zookeeper 106.14.132.94:2181 \ 列表中有一个__consumer_offsets主题，这个主题不能删除哟 \ 删除主题 \ /opt/kafka_2.13-2.7.1...\ 消费之前的消息 \ /opt/kafka_2.13-2.7.1/bin/kafka-console-consumer.sh --bootstrap-server 106.14.132.94:9092...\ 消费之前多主题的消息 \ /opt/kafka_2.13-2.7.1/bin/kafka-console-consumer.sh --bootstrap-server 106.14.132.94:9092
集群的服务器端口号, /kafka是在zookeeper挂载的文件夹,要自己创建zookeeper客户端命令 create /kafka Kafka操作 创建主题 kafka-topics.bat...1 –topic test 指令说明: –create 指定创建topic动作 –zookeeper 指定kafka连接zk的连接url，该值和server.properties文件中的配置项{...:设置主题名字 查看主题状态 kafka-topics.bat –describe –zookeeper 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka...–topic test 结果信息字段含义: 1 Partition： 分区 2 Leader ： 负责读写指定分区的节点 3 Replicas ： 复制该分区log的节点列表 4 Isr ：...“in-sync” replicas，当前活跃的副本列表（是一个子集），并且可能成为Leader kafka生产者生产消息 kafka-console-producer.bat –broker-list
消费者并将组元数据存储在 ZooKeeper 中（即 offsets.storage=zookeeper），请传递 –zookeeper 而不是 –bootstrap-server： > bin/kafka-consumer-groups.sh...分区重新分配工具可以在 3 种互斥模式下运行： –generate：在这种模式下，给定一个主题列表和一个broker列表，该工具生成一个候选重新分配，以将指定主题的所有分区移动到新的broker。...这在扩展现有集群时通常很有用，因为将整个主题移动到新的一组broker比一次移动一个分区更容易。 当用于执行此操作时，用户应提供待移动的brokers的主题列表和新brokers的目标主题列表。...然后，该工具将给定主题列表的所有分区均匀分布在新的brokers上。 在此过程中，主题的复制因子保持不变。 实际上，输入主题列表的所有分区的副本都从旧brokers移动到新添加的brokers。...例如，以下示例将主题 foo1,foo2 的所有分区移动到新的一组broker 5,6。 在此移动结束时，主题 foo1 和 foo2 的所有分区将仅存在于broker 5,6 上。
Zookeeper启动Kafka（kafka内置zookeeper）Kafka依赖Zookeeper1、启动Zookeeper 2、启动Kafka使用kafka自带Zookeeper启动..../kafka-topics.sh --create --topic 主题名 --bootstrap-server localhost:9092列出所有主题..../kafka-topics.sh --list --bootstrap-server localhost:9092查看主题详情..../kafka-topics.sh --describe --topic 主题名 --bootstrap-server localhost:9092删除主题..../kafka-topics.sh --delete --topic 主题名 --bootstrap-server localhost:9092使用kafka-console-producer.sh脚本发送消息
usr/local/zookeeper/confvim zoo.cfg#zookeeper 服务器与客户端心跳时间，单位mstickTime=2000#Leader和Follower初始连接时能容忍的最多心跳数...( tickTime的数量)，这里表示为10*2sinitLimit=10##Leader和Follower之间同步通信的超时时间，这里表示如果超过5*2s，Leader认为Follwer死掉，并从服务器列表中删除...将配置复制到其他节点scp /usr/local/zookeeper kafka2:/usr/local/ scp /usr/local/zookeeper kafka3:/usr/local/ 4.在每个节点上创建数据目录和日志目录...num.recovery.threads.per.data.dir=1#元数据内部主题“__consumer_offsets”和“__transaction_state”的复制因子，默认为3 ，建议大于.../bin/kafka-consumer-groups.sh --bootstrap-server broker_host:port --list --members：此选项提供消费者组中所有活跃成员的列表
分区重新分配工具没有能力自动研究Kafka群集中的数据分布，并四处移动分区以实现均匀的负载分布。因此，必须弄清楚应该移动哪些主题或分区。...分区重新分配工具可以在3种模式下运行： --generate：在此模式下，给定主题列表和代理列表，该工具会生成分区与副本重新分配的计划，以将指定主题的所有分区在所有节点上重新分配。...在给定主题和目标代理的列表的情况下，此选项仅提供了一种方便的方式来生成分区重新分配计划。 --execute：在此模式下，该工具将根据用户提供的重新分配计划启动分区的重新分配。...--bootstrap-server localhost:9092 --zookeeper zookeeper-001:2181 --topics-to-move-json-file topics-to-move.json...--execute 检查重新分配的分区状态 kafka-reassign-partitions --bootstrap-server localhost:9092 --zookeeper zookeeper
主题（topic），用于消息归类。概念上类似文件系统的文件夹，消息是这个文件夹中的文件，或者可以理解为类似于别的消息系统的队列。...分区（partition），主题是分区的，一个主题可以有多个分区，可以分布在不同的broker中，kafka保证单个分区的消息是有序的。 副本（replica），为了容错和高可用，每个主题可以被复制。...主题与分区示意图 基本脚本使用 启动 bin/zookeeper-server-start.sh config/zookeeper.properties 创建主题，创建一个名字叫test，单个分区，...1个副本的主题 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions...1 --topic test 查看主题 bin/kafka-topics.sh --list --bootstrap-server localhost:9092 发送消息 bin/kafka-console-producer.sh
创建带有可选主题配置的主题（0.8.1.1与0.8.2+具有不同的配置） 删除主题（仅在0.8.2+上受支持，并记住在代理配置中设置delete.topic.enable = true） 主题列表指示标记为删除的主题...（仅在0.8.2+上受支持） 批量生成多个主题的分区分配，并可以选择要使用的代理 批量运行分区的多个主题的重新分配 将分区添加到现有主题 更新现有主题的配置 Kafka Manager下载地址 https..."4、执行tail -f /opt/kafka/logs/server.log查看kafka启动日志" 上传jdk_zookeeper_kafka.zip和 kafka_install.sh...和kafka zkServer.sh start kafka-server-start.sh -daemon /opt/kafka/config/server.properties 3、上传kafka-manager...--bootstrap-server 192.168.31.80:9092 --topic yuanfan_kafka_test 1)可以创建主题，测试主题的自生产与自消费 2)用之前配置文件中账户密码登录
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
