卡夫卡重新分配的__consumer_offsets不正确？
我很困惑卡夫卡-重新分配-寓言是如何为__consumer_offsets主题工作的？
我从1 zk和1 kafka broker开始，用replication=1、partition=1创建一个测试主题。效果很好。
我看到创建了__consumer_offsets主题。
现在我添加了第二个代理，offsets.topic.replication.factor=2.我负责管理，
kafka-重新分配-分区-zookeeper 1:2181-主题-移动-json-文件主题-move.json-代理-列表"101,102“-生成。
生成的重新分配看起来不正确。只有一个副本，即使有两个活经纪人。
我希望得到以下每个分区的副本: 101,102或201,101
{
"version": 1,
"partitions": [
{
"topic": "__consumer_offsets",
"partition": 19,
"replicas": [101]
},
{
"topic": "__consumer_offsets",
"partition": 30,
"replicas": [102]
},
{
"topic": "__consumer_offsets",
"partition": 47,
"replicas": [101]
}, ...谢谢你的任何建议。
-Vms
回答 2
Stack Overflow用户
发布于 2017-09-19 07:44:25
如果要增加主题的复制因子，请执行以下步骤：
- 创建一个包含重新分配计划的json文件。在您的示例中，该文件可能如下所示： {“版本”：1，“分区”：[{“主题”：“__consumer_offsets”，“分区”：0，“副本”：101,102}，{“主题”：“__consumer_offsets”，“分区”：1，“复制”：102,101}，{“主题”：“__consumer_offsets”，“分区”：2，“复制”：101,102}，{“主题”：“__consumer_offsets”，“分区”：3，“复制”：102,101}，{“主题”：“__consumer_offsets”，“分区”：49，“副本”：101,102}}
- 运行下面的命令以增加此内部主题的RF： bin/kafka-重新分配-Partions.sh--动物园管理员本地主机:2181--重新分配-json-文件reassign.json --执行
然后运行kafka-topics.sh --describe，查看复制因子是否高达2。
Stack Overflow用户
发布于 2020-01-29 22:18:12
您可以使用重新分配工具为自己的优势生成json。在主题到move.json中，不要放置分区值，而是放置{"version":1, "topics":[{"topic":"__consumer_offsets"}]}。
现在，当您运行kafka-reassign-partitions --zookeeper zookeeper1:2181 --topics-to-move-json-file topics-to-move.json --broker-list "101,102" --generate时，您将从工具获得推荐的分区分配。
将该文件保存为重新分配-提议的. into，并将旧分配存储到rollback.json中。
使用该文件开始重新分配/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file reassignment-proposed.json --execute，使用--verify选项验证赋值
https://stackoverflow.com/questions/46289511
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号