前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >CKafka系列学习文章 - CKafka界面管理(四)

CKafka系列学习文章 - CKafka界面管理(四)

原创
作者头像
发哥说消息队列
修改2019-11-12 10:46:08
1.1K0
修改2019-11-12 10:46:08
举报
文章被收录于专栏:发哥说消息队列

导语:在使用的过程中,我们总是需要根据自己公司的业务场景去调整服务端的参数配置和监控参数,接下来我们一起来看看如何配置。

一、基本信息

1. 接入方式

连接CKafka的实例要用接入方式中的IP和端口,先要添加路由策略:

路由类型有:基础网络、VPC网络、公网域名接入,两种接入方式:PLAINTEXT和SASL_PLAINTEXT

1) 基础网络

有PLAINTEXT和SASL_PLAINTEXT两种接入方式, SASL_PLAINTEXT为用户名认证鉴权。

2) VPC网络

有PLAINTEXT和SASL_PLAINTEXT两种接入方式, SASL_PLAINTEXT为用户名认证鉴权。

3) 公网域名接入

只有SASL_PLAINTEXT一种接入方式,为公网的用户名认证鉴权。

需要用JDK1.8的版本

2. 消息保留

消息保留范围在1分钟到90天

3. 自动创建Topic

如果您开启了自动创建 Topic,将会在服务器上启用主题的自动创建,使用或获取不存在的主题元数据时,将自动使用配置的副本数和分区数进行创建。您可以在【Topic 管理】中查看自动创建的 Topic。

创建前:

用生产者客户端,调用bowenqiu_topic2

Bowenqiu_topic2自动创建的成功了。

二、Topic管理

对bowenqiu_topic2进行参数编辑:

a) 分区数和副本数

这里需要规划好,因为我们购买的CKafka实例的topic上限是25个和分区数的上限是60个。(升级配置只能升峰值带宽和磁盘容量,如果topic和分区数后期不够用时,需要提工单进行扩容)

b) 白名单

开启白名单后,只有白名单里的IP可以访问
开启白名单后,只有白名单里的IP可以访问

你应许那些云主机的IP访问这个topic,一行一个IP。

c) Cleanup.policy:日志清理策略

支持日志按保存时间删除,或者日志按 key 压缩(Kafka Connect 时需要使用 compact 模式)。

d) min.isync.replicas:

配置生产端 ACK

当 producer 向 leader 发送数据时,可以通过 request.required.acks 参数以及min.isync.replicas 设置数据可靠性的级别。

  • l当 acks = 1时(默认值),生产者在 ISR 中的 leader 已成功收到数据可以继续发送下一条数据。如果 leader 宕机,由于数据可能还未来得及同步给其 follower,则会丢失数据。
  • 当 acks = 0时,生产者不等待来自 broker 的确认就发送下一条消息。这种情况下数据传输效率最高,但数据可靠性确最低。
  • 当 acks = -1或者 all 时,生产者需要等待 ISR 中的所有 follower 都确认接收到消息后才能发送下一条消息,可靠性最高。

即使按照上述配置 ACK,也不能保证数据不丢,例如,当 ISR 中只有 leader 时(ISR 中的成员由于某些情况会增加也会减少,最少时只剩一个 leader),此时会变成 acks = 1的情况。所以需要同时在配合 min.isync.replicas 参数(此参数可以在消息队列 CKafka 控制台 Topic 配置开启高级配置中进行配置),min.insync.replicas 表示在 ISR 中最小副本的个数,默认值是1,当且仅当 acks = -1或者 all 时生效。

e) unclean.leader.election.enable

f) segment.ms

g) retention.ms

h) max.message.bytes

三、Consumer Group(消费组管理和消费组监控)

查看消费者详情:可以看到有一个消费者在消费信息

消费组监控

四、监控

包括实例、主题(Topic)、消费者组(Consumer Group)的监控

五、ACL策略管理

新增ACL策略:

六、用户管理

七、升配

八、配置告警

下一章将来了解下: CKafka通常会在那些场景下使用(五)

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、基本信息
    • 1. 接入方式
      • 1) 基础网络
      • 2) VPC网络
      • 3) 公网域名接入
    • 2. 消息保留
      • 3. 自动创建Topic
      • 二、Topic管理
      • 三、Consumer Group(消费组管理和消费组监控)
      • 四、监控
      • 五、ACL策略管理
      • 六、用户管理
      • 七、升配
      • 八、配置告警
      相关产品与服务
      私有网络
      私有网络(Virtual Private Cloud,VPC)是基于腾讯云构建的专属云上网络空间,为您在腾讯云上的资源提供网络服务,不同私有网络间完全逻辑隔离。作为您在云上的专属网络空间,您可以通过软件定义网络的方式管理您的私有网络 VPC,实现 IP 地址、子网、路由表、网络 ACL 、流日志等功能的配置管理。私有网络还支持多种方式连接 Internet,如弹性 IP 、NAT 网关等。同时,您也可以通过 VPN 连接或专线接入连通腾讯云与您本地的数据中心,灵活构建混合云。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档