消息队列 CKafka 版与开源 Kafka 对比

TDMQ CKafka 版和开源自建 Kafka 的详细如下：
项目
功能项
TDMQ CKafka 版
自建 Kafka
基础功能
Topic 参数配置
支持在控制台调整多项参数，包括分区数、副本数、消息清理策略、最小同步副本数、Segment 分片滚动的时长、消息保留时长等。
命令行配置，业务人员难以自定义操作。
﻿
Topic 分区数变更
支持在控制台变更 Topic 分区数。
命令行配置，业务人员难以自定义操作。
﻿
发送消息
支持在控制台发送消息。
不支持。
﻿
查询消息
支持在控制台根据位点或时间查询消息。
命令行可以消费，但无法根据位点或者时间定位到具体消息。
﻿
消费进度重置
支持在控制台重置消费位点。
后端手动配置，繁琐且容易出错。
﻿
管理能力
支持对集群、Topic、消费组等进行可视化管理，通过标签可以提供更多精细化管理能力；
支持对 Topic 生产、消费流量统计，流量明细一目了然。
需要搭配开源管理系统，易用性较弱。
智能化运维
分区动态处理
支持手动进行分区均衡，当实例集群出现分区倾斜的情况时，重新分配分区在节点上的分布。
支持自动化分区均衡 ，根据用户设定的时间自动检查 Topic 的分区分布，自动分析选择业务低峰期发起分区均衡。
不支持。
﻿
智能巡检
提供一键诊断能力，能够主动排查集群问题和隐患，并基于腾讯云专家经验沉淀给出问题解决方案，自动归纳健康检查结果生成报告，实现运维体验闭环。
不支持。
﻿
磁盘智能配置
支持磁盘水位自动处理。当磁盘水位达到阈值时，支持动态调整消息保留或者自动扩容磁盘，避免影响业务。
不支持。
隔离性
多实例
支持基于一套物理集群创建多个实例。
不支持。
﻿
带宽配额控制
每个实例支持按带宽限制使用量。
不支持。
﻿
Topic 限流
支持 Topic 维度的限流，最大化的保障业务可靠性。
不支持。
﻿
磁盘配额控制
每个实例支持按磁盘限制使用量。
不支持。
﻿
多接入点配置
支持配置实例路由策略，在指定 VPC 下设置接入点。
不支持，发送消息需指明 Broker 地址，接收消息需 ZooKeeper 协调调度，不够灵活。
﻿
管控面与数据面隔离
架构上管控面与数据面隔离，管控操作通过腾讯云云 API SDK 调用管控组件实现。数据面操作通过开源 Kafka SDK 调用，完全兼容开源。
不支持。
﻿
主账号隔离
基于腾讯云主子账号体系，实现主账号之间数据逻辑隔离。
不支持。
监控告警
开箱即用
成熟标准化的部署、监控方案，开箱即用
不支持，用户需要自行搭建并维护开源监控系统，且监控系统如果不能满足需求，难以定制化。
﻿
监控告警
提供生产和消费峰值带宽、生产和消费平均带宽、生产和消费消息数、磁盘使用率、实例连接数、未消费消息数等丰富监控指标，支持实例、Topic 和 消费分组多维度监控告警。
不支持，需要额外对接开源第三方组件。
﻿
指标排序
支持查看 Topic 生产消费流量 Top10 和 占用磁盘容量 Top10，Consumer Group 消费速度 Top10。
不支持。
高可用
跨 AZ 高可用部署
支持跨 AZ 高可用部署，成熟的故障恢复方案。支持从单可用区部署升级到跨可用区部署。
支持但较为繁琐，需要自行设计部署方案和参数。
﻿
跨地域容灾
支持实例级别同步数据，支持不同地域实例间的复制迁移功能，实例的所有数据和元数据都会同步。
支持但较为繁琐，且开源方案有一定缺陷。
安全合规性
Topic 维度 ACL 访问控制
支持按照用户 + IP 段控制访问权限，权限配置支持到实例+Topic 维度，而且支持黑名单和白名单两种模式。
通过命令行配置参数，繁琐且容易出错。
﻿
SASL 密码认证
支持控制台配置 SASL 认证。
通过命令行配置参数，繁琐且容易出错。
﻿
SSL认证
支持控制台配置 SSL 认证。
通过命令行配置参数，繁琐且容易出错。
﻿
管控操作权限控制
控制台操作基于腾讯云 CAM 控制权限，安全合规。
管控操作权限难以精细化控制。
﻿
操作可追溯
管控操作对接操作审计，可回溯。
不支持。
使用习惯
命名规范
Topic：限定在128个字符内，只能包含字母、数字、下划线、“-”和“.”，不支持以“双下划线”开头。
Consumer Group：限定在128个字符内，只能包含字母、数字、下划线、“-”和“.”。
User: 限定在64个字符内，只能包含字母、数字、下划线、“-”和“.”。
说明：
建议遵照以上规范进行命名，过长、包含特殊字符的资源命名可能导致在其他系统传输过程中受限制。
Topic：限定在249个字符内
Consumer Group、User：无限制。
其他
在线升级能力
CKafka 提供版本升级能力，方便在社区版出现 bug 或者安全漏洞时，无缝升级到新版本。
不支持，需要手动操作，手动升级可能会影响业务。
﻿

项目	功能项	TDMQ CKafka 版	自建 Kafka
基础功能	Topic 参数配置	支持在控制台调整多项参数，包括分区数、副本数、消息清理策略、最小同步副本数、Segment 分片滚动的时长、消息保留时长等。	命令行配置，业务人员难以自定义操作。
		Topic 分区数变更	支持在控制台变更 Topic 分区数。	命令行配置，业务人员难以自定义操作。
		发送消息	支持在控制台发送消息。	不支持。
		查询消息	支持在控制台根据位点或时间查询消息。	命令行可以消费，但无法根据位点或者时间定位到具体消息。
		消费进度重置	支持在控制台重置消费位点。	后端手动配置，繁琐且容易出错。
		管理能力	支持对集群、Topic、消费组等进行可视化管理，通过标签可以提供更多精细化管理能力；支持对 Topic 生产、消费流量统计，流量明细一目了然。	需要搭配开源管理系统，易用性较弱。
智能化运维	分区动态处理	支持手动进行分区均衡，当实例集群出现分区倾斜的情况时，重新分配分区在节点上的分布。支持自动化分区均衡，根据用户设定的时间自动检查 Topic 的分区分布，自动分析选择业务低峰期发起分区均衡。	不支持。
		智能巡检	提供一键诊断能力，能够主动排查集群问题和隐患，并基于腾讯云专家经验沉淀给出问题解决方案，自动归纳健康检查结果生成报告，实现运维体验闭环。	不支持。
		磁盘智能配置	支持磁盘水位自动处理。当磁盘水位达到阈值时，支持动态调整消息保留或者自动扩容磁盘，避免影响业务。	不支持。
隔离性	多实例	支持基于一套物理集群创建多个实例。	不支持。
		带宽配额控制	每个实例支持按带宽限制使用量。	不支持。
		Topic 限流	支持 Topic 维度的限流，最大化的保障业务可靠性。	不支持。
		磁盘配额控制	每个实例支持按磁盘限制使用量。	不支持。
		多接入点配置	支持配置实例路由策略，在指定 VPC 下设置接入点。	不支持，发送消息需指明 Broker 地址，接收消息需 ZooKeeper 协调调度，不够灵活。
		管控面与数据面隔离	架构上管控面与数据面隔离，管控操作通过腾讯云云 API SDK 调用管控组件实现。数据面操作通过开源 Kafka SDK 调用，完全兼容开源。	不支持。
		主账号隔离	基于腾讯云主子账号体系，实现主账号之间数据逻辑隔离。	不支持。
监控告警	开箱即用	成熟标准化的部署、监控方案，开箱即用	不支持，用户需要自行搭建并维护开源监控系统，且监控系统如果不能满足需求，难以定制化。
		监控告警	提供生产和消费峰值带宽、生产和消费平均带宽、生产和消费消息数、磁盘使用率、实例连接数、未消费消息数等丰富监控指标，支持实例、Topic 和消费分组多维度监控告警。	不支持，需要额外对接开源第三方组件。
		指标排序	支持查看 Topic 生产消费流量 Top10 和占用磁盘容量 Top10，Consumer Group 消费速度 Top10。	不支持。
高可用	跨 AZ 高可用部署	支持跨 AZ 高可用部署，成熟的故障恢复方案。支持从单可用区部署升级到跨可用区部署。	支持但较为繁琐，需要自行设计部署方案和参数。
高可用		跨地域容灾	支持实例级别同步数据，支持不同地域实例间的复制迁移功能，实例的所有数据和元数据都会同步。	支持但较为繁琐，且开源方案有一定缺陷。
安全合规性	Topic 维度 ACL 访问控制	支持按照用户 + IP 段控制访问权限，权限配置支持到实例+Topic 维度，而且支持黑名单和白名单两种模式。	通过命令行配置参数，繁琐且容易出错。
		SASL 密码认证	支持控制台配置 SASL 认证。	通过命令行配置参数，繁琐且容易出错。
		SSL认证	支持控制台配置 SSL 认证。	通过命令行配置参数，繁琐且容易出错。
		管控操作权限控制	控制台操作基于腾讯云 CAM 控制权限，安全合规。	管控操作权限难以精细化控制。
		操作可追溯	管控操作对接操作审计，可回溯。	不支持。
使用习惯	命名规范	Topic：限定在128个字符内，只能包含字母、数字、下划线、“-”和“.”，不支持以“双下划线”开头。 Consumer Group：限定在128个字符内，只能包含字母、数字、下划线、“-”和“.”。 User: 限定在64个字符内，只能包含字母、数字、下划线、“-”和“.”。说明：建议遵照以上规范进行命名，过长、包含特殊字符的资源命名可能导致在其他系统传输过程中受限制。	Topic：限定在249个字符内 Consumer Group、User：无限制。
其他	在线升级能力	CKafka 提供版本升级能力，方便在社区版出现 bug 或者安全漏洞时，无缝升级到新版本。	不支持，需要手动操作，手动升级可能会影响业务。