本文所有命令,博主均全部操作验证过,保证准确性; 非复制粘贴拼凑文章; 如果想了解更多工具命令,可在评论区留下评论,博主会择期加上;
1 指定Topic指定分区用重新PREFERRED：优先副本策略 进行Leader重选举
查看consumer group列表有新、旧两种命令，分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表，因而需要区分指定bootstrap–server和zookeeper参数：
支持正则表达式匹配Topic来进行删除,只需要将topic 用双引号包裹起来 例如: 删除以create_topic_byhand_zk为开头的topic;
通常情况下，Kafka部署后都是自己的业务进行生产消费，但也有一些情况，比如通过kafka和第三方对接，甚至是多个三方对接；或者是多用户使用同一套kafka集群，各自使用不同的topic。在这种场景下，一般不希望不同的用户能访问彼此的数据，因此需要进行权限控制，这就会用到Kafka中的ACL。
Producer即生产者，向Kafka集群发送消息，在发送消息之前，会对消息进行分类，即Topic， Topic即主题，通过对消息指定主题可以将消息分类，消费者可以只关注自己需要的Topic中的消息 Consumer即消费者，消费者通过与kafka集群建立长连接的方式，不断地从集群中拉取消息，然后可以对这些消息进行处理。
通过前面 7 篇文章的介绍，小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。为了提高平时的工作效率，帮助我们快速定位一些线上问题，比如查看部分 Partition 堆积机器 IP 等操作，这篇文章总结了一些平时常用到的一些 Kafka 命令及常用配置，方便日后查阅（该文章中提到的相关配置会持续更新）。
>bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic topic1 --partitions 2
1.在kafka最新版kafka_2.12-1.0.0的config文件夹server.properties中可以看到num.partitions=1，这个代表每个topic默认的分区数量。当你创建topic时，如果不指定该topic的partition数量，那么默认就是1个分区。这意味着你的这个topic，最多只能被一个group的一个consumer消费，该group的其他consumer将无法获取到消息，也就是无法通过启动多个consumer进程来并行消费。可以通过在配置kafka时修改该值来设置topic默认的partition数量，视情况来定。
前面的章节，我们已经把RocketMQ的环境搭建起来了，是一个两主两从的异步集群。接下来，我们就看看怎么去使用RocketMQ，在使用之前，先要在NameServer中创建Topic，我们知道RocketMQ是基于Topic的消息队列，在生产者发送消息的时候，要指定消息的Topic，这个Topic的路由规则是怎样的，这些都要在NameServer中去创建。
配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。
场景描述：如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events，便会遇到Kafka Topic覆盖问题，具体表现为，Kafka Source可以正常从指定的Topic中读取数据，但在Kafka Sink中配置的目标Topic不起作用，数据仍然会被写入到Source中指定的Topic中。
我们以前讲过 Service Cloud 零基础（三）Knowledge浅谈，我们日常可以看见很多得文章或者帖子，我们可以将其通过data category / group进行管理。但是一个系统中得文章可能成千上万或者百万计，常用得文章可能会大打折扣，这个时候我们应该如何更好得对文章进行管理分类呢？这里就引入了Topic得概念，我们使用Topic来组织社区得内容或者突出得重点讨论得东西。不要觉得 Topic有多神气，实际得冲浪场景中随处可见。我们在知乎，在微博，在脉脉上看文章都会有通过 主题/ 话题进行展示，点进去有很多相关文章。我们只需要看到我们需要的主题，然后点进去找到我们感兴趣需要得文章即可。那Salesforce 拥有哪几类得主题类型，如何进行主题管理呢，下面的内容主要针对这两点进行阐述。
Kafka 客户端可以使用分区器依据消息的key计算分区，如果在发送消息时未指定key，则默认分区器会基于round robin算法为每条消息分配分区；
有赞的自研版 NSQ 在高可用性以及负载均衡方面进行了改造，自研版的 nsqd 中引入了数据分区以及副本，副本保存在不同的 nsqd 上，达到容灾目的。此外，自研版 NSQ 在原有 Protocol Spec 基础上进行了拓展，支持基于分区的消息生产、消费，以及基于消息分区的有序消费，以及消息追踪功能。
1.2 生产有key消息 加上属性--property parse.key=true
Kafka提供了几个命令行接口实用程序，他们对于kafka集群的配置管理非常有用。这些工具是通过java来实现的，并提供了一组脚本来调用这些类。这些工具提供了基本的功能，但是对于更复杂的操作，你可能会发现他们还是有些力不从心。本章将描述做为Apache Kafka开源项目的一部分的工具。在Apache桑可以找到关于社区中开发的高级工具的更多信息。详见kakfa官网。
Kafka的备份的单元是partition，也就是每个partition都都会有leader partiton和follow partiton。其中leader partition是用来进行和producer进行写交互，follow从leader副本进行拉数据进行同步，从而保证数据的冗余，防止数据丢失的目的。如图:
在学习kafka集群之前，先来学习下单节点kafka的一些基本操作，包括安装及一些基本命令，以便后续集群环境的学习。
本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。
Kafka 中发送 1 条消息的时候，可以指定topic, partition, key,data（数据) 4 个参数。如果你发送消息的时候指定了 partion 的话，所有消息都会被发送到指定的 partion。并且，同一个 key 的消息可以保证只发送到同一个 partition，这个我们可以采用表/对象的 id 来作为 key 。
和 RabbitMQ 类似，Kafka（全称 Apache Kafka）是一个分布式发布-订阅消息系统。
Kafka Connector 提供了从 Kafka topic 中消费和写入数据的能力。
Mosquitto是用C语言实现的MQTT物联网协议v3.1 的消息代理服务器。提供轻量级的，支持可发布/可订阅的的消息推送模式，使设备对设备之间的短消息通信变得简单。
目录 查询 1.查看所有或者指定Topic的信息 2.列出所有Topic 3.新消费者列表查询 4.显示某个消费组的消费详情（0.10.1.0版本+） TODO 查询 1.查看所有或者指定Topic的信息 查看Topic的分区情况 副本情况和 配置情况 ## 所有 bin/kafka-topics.sh --describe --zookeeper xxxx ##指定 bin/kafka-topics.sh --describe --zookeeper xxxx --topic TOPIC名称
http://spark.apache.org/docs/2.4.5/structured-streaming-kafka-integration.html
前言 对于从事大数据相关职位的朋友们来说，使用 kafka 的频率应该不会少。为了解决各位在操作 kafka 时记不住命令参数的痛点，所以我整理了一下在我工作中经常用到的 kafka 实操命令，希望各位看官能够喜欢。 kafka版本：2.11-1.1.0
注：partitions指定topic分区数，replication-factor指定topic每个分区的副本数。
1. 发送1024条消息--num-records 100并且每条消息大小为1KB--record-size 1024 最大吞吐量每秒10000条--throughput 100
在上一篇 《必会 | 教你如何重新分布kafka分区、增加分区副本数》文章中，描述了如何重新分配 kafka topic 分区以及增加分区副本数。在最后我留了一个小疑问，如果 kafka leader replica 不挂掉的话，如何选择某 replica 为指定leader 呢？
Kafka 运行环境还需要涉及 ZooKeeper，Kafka 和 ZooKeeper 都是运行在 JVM 之上的服务。但是Kafka架构中 ZooKeeper 以怎样的形式存在？
我们知道Kafka 的消息通过topic进行分类。topic可以被分为若干个partition来存储消息。消息以追加的方式写入partition,然后以先入先出的顺序读取。
读取的时候，可以读取某个topic，也可以读取多个topic，还可以指定topic的通配符形式：
openstack的rpc是由这个oslo_messaging库实现的，下面就主要讲解下这个库的实现原理
1、在上面的说明中动态传参namespace，意思是命名空间 使用动态传参指定前缀，指定前缀测试说明在第2点之后 使用前缀可以将属于个性化定制，自动创建topic时用于区别其他topic名称，这里是为了建立实时数仓，需要以数仓分层标识
本文主要讨论Kafka组件中的消费者和其消费进度。我们将通过一个使用Scala语言实现的原型系统来学习。本文假设你知道Kafka的基本术语。
4.2 生产有key消息 加上属性--property parse.key=true
先调用MetadataRequest拿到所有在线Broker列表 再给每个Broker发送ListGroupsRequest请求获取 消费者组数据
1.1 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
######################### 1、启动集群每个节点的进程 ################################### nohup kafka-server-start.sh /home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties 1>~/kafkalogs/kafka_std.log 2>kafkalogs/kafka_err.log &
需要注意的是–zookeeper后面接的是kafka的zk配置, 假如你配置的是localhost:2181/kafka 带命名空间的这种,不要漏掉了
工作中遇到过消费端报错的问题：包括数据Invalid Message和Failed_to_UNcompress等报错信息，导致消费端的iterator损坏，直接造成消费进程挂掉，如果不能及时发现问题，需要手动跳过某些数据；
producer： 生产者，负责发布消息到kafka cluster(kafka集群)中。生产者可以是web前端产生的page view，或者是服务器日志，系统CPU、memory等。
JMX 的全称为 Java Management Extensions。顾名思义，是管理 Java 的一种扩展，通过 JMX 可以方便我们监控 Kafka 的内存，线程，CPU 的使用情况，以及生产和消费消息的指标。
在Kafka Version为0.11.0.0之后，Consumer的Offset信息不再默认保存在Zookeeper上，而是选择用Topic的形式保存下来。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
