导语:在使用的过程中,我们总是需要根据自己公司的业务场景去调整服务端的参数配置和监控参数,接下来我们一起来看看如何配置。
连接CKafka的实例要用接入方式中的IP和端口,先要添加路由策略:
路由类型有:基础网络、VPC网络、公网域名接入,两种接入方式:PLAINTEXT和SASL_PLAINTEXT
有PLAINTEXT和SASL_PLAINTEXT两种接入方式, SASL_PLAINTEXT为用户名认证鉴权。
有PLAINTEXT和SASL_PLAINTEXT两种接入方式, SASL_PLAINTEXT为用户名认证鉴权。
只有SASL_PLAINTEXT一种接入方式,为公网的用户名认证鉴权。
需要用JDK1.8的版本
消息保留范围在1分钟到90天
如果您开启了自动创建 Topic,将会在服务器上启用主题的自动创建,使用或获取不存在的主题元数据时,将自动使用配置的副本数和分区数进行创建。您可以在【Topic 管理】中查看自动创建的 Topic。
创建前:
用生产者客户端,调用bowenqiu_topic2
Bowenqiu_topic2自动创建的成功了。
对bowenqiu_topic2进行参数编辑:
a) 分区数和副本数
这里需要规划好,因为我们购买的CKafka实例的topic上限是25个和分区数的上限是60个。(升级配置只能升峰值带宽和磁盘容量,如果topic和分区数后期不够用时,需要提工单进行扩容)
b) 白名单
你应许那些云主机的IP访问这个topic,一行一个IP。
c) Cleanup.policy:日志清理策略
支持日志按保存时间删除,或者日志按 key 压缩(Kafka Connect 时需要使用 compact 模式)。
d) min.isync.replicas:
配置生产端 ACK
当 producer 向 leader 发送数据时,可以通过 request.required.acks 参数以及min.isync.replicas 设置数据可靠性的级别。
即使按照上述配置 ACK,也不能保证数据不丢,例如,当 ISR 中只有 leader 时(ISR 中的成员由于某些情况会增加也会减少,最少时只剩一个 leader),此时会变成 acks = 1的情况。所以需要同时在配合 min.isync.replicas 参数(此参数可以在消息队列 CKafka 控制台 Topic 配置开启高级配置中进行配置),min.insync.replicas 表示在 ISR 中最小副本的个数,默认值是1,当且仅当 acks = -1或者 all 时生效。
e) unclean.leader.election.enable
f) segment.ms
g) retention.ms
h) max.message.bytes
查看消费者详情:可以看到有一个消费者在消费信息
消费组监控
包括实例、主题(Topic)、消费者组(Consumer Group)的监控
新增ACL策略:
下一章将来了解下: CKafka通常会在那些场景下使用(五)
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。