本文主要说明 TDMQ Pulsar 专业集群(固定存储)的集群规格,包括 TPS 、带宽及 Topic 个数限制等,供您选型使用。
说明:
1. 专业集群存储采用三副本机制来保证数据的高可用性。
2. 专业集群支持在线升配,具体操作请参见文档 升配集群 。升级过程中理论上对业务无感,但随着服务端 Rebalance Topic 流量时,客户端可能会出现断开重连的现象。
集群规格
序号 | 集群规格代号 | 消息收发 TPS 上限 | 峰值带宽(MB/s) | 单集群 Topic 上限(个) | 最低存储规格(GB) |
1 | PULSAR.P1.MINI2 | 2000 | 45 | 1000 | 200 |
2 | PULSAR.P1.SMALL4 | 4000 | 90 | 1000 | 200 |
3 | PULSAR.P1.SMALL6 | 6000 | 120 | 1000 | 267 |
4 | PULSAR.P1.SMALL10 | 10000 | 180 | 2000 | 400 |
5 | PULSAR.P1.MEDIUM15 | 15000 | 300 | 2000 | 333 |
6 | PULSAR.P1.MEDIUM20 | 20000 | 480 | 2000 | 400 |
7 | PULSAR.P1.MEDIUM40 | 40000 | 720 | 2000 | 533 |
8 | PULSAR.P1.MEDIUM60 | 60000 | 1080 | 2000 | 533 |
9 | PULSAR.P1.MEDIUM100 | 100000 | 1920 | 3000 | 533 |
10 | PULSAR.P1.LARGE150 | 150000 | 2400 | 3000 | 667 |
11 | PULSAR.P1.LARGE200 | 200000 | 3600 | 3000 | 800 |
12 | PULSAR.P1.LARGE400 | 400000 | 4200 | 3000 | 1000 |
13 | PULSAR.P1.LARGE600 | 600000 | 4800 | 3000 | 1200 |
14 | PULSAR.P1.LARGE1000 | 1000000 | 6000 | 3000 | 1667 |
注意事项
消息收发 TPS 上限是按照普通消息类型、消息大小4KB为基准计算消息收发之和,高级特性消息和大消息计算时需要乘以对应倍率;峰值带宽指出和入的带宽分别可达到具体的数值。具体计算方式,请参见 专业集群计费说明。
存储使用说明
1. 专业集群固定存储版,存储使用统计的是存储服务 Bookie 中磁盘的使用情况,不是 Broker 中主题数据的存储占用情况。
2. 不能根据 Broker 里面全部业务主题的存储使用,来计算存储服务 Bookie 的磁盘使用情况。因为主题所使用的存储空间只占 Bookie 存储的一部分,Bookie 存储中还有索引文件、日志文件等也会占用空间。
3. 不止业务主题数据会占用 Bookie 的磁盘,还有 Cursor、Schema 以及系统内部主题也会占用 Bookie 磁盘。
4. 在 Bookie 的数据回收机制下,Broker 中主题的数据删除了,但 Bookie 中的磁盘不一定就能马上释放掉,这里会存在写放大的情况,通常写放大在 30%以内,但极端情况下可能到达到 50%。这里和 Bookie 的数据清理(Bookie内部叫 GC)机制有关系。
5. 建议您配置并重点关注集群存储使用率告警,建议生产环境中,将存储使用率控制在 80% 以内,防止因为节点存储使用不均衡,导致部分节点提前写满。