专业集群-固定存储

最近更新时间:2024-06-26 14:23:11

我的收藏
本文主要说明 TDMQ Pulsar 专业集群(固定存储)的集群规格,包括 TPS 、带宽及 Topic 个数限制等,供您选型使用。
说明:
1. 专业集群存储采用三副本机制来保证数据的高可用性。
2. 专业集群支持在线升配,具体操作请参见文档 升配集群 。升级过程中理论上对业务无感,但随着服务端 Rebalance Topic 流量时,客户端可能会出现断开重连的现象。

集群规格

序号
集群规格代号
消息收发 TPS 上限
峰值带宽(MB/s)
单集群 Topic 上限(个)
最低存储规格(GB)
1
PULSAR.P1.MINI2
2000
45
1000
200
2
PULSAR.P1.SMALL4
4000
90
1000
200
3
PULSAR.P1.SMALL6
6000
120
1000
267
4
PULSAR.P1.SMALL10
10000
180
2000
400
5
PULSAR.P1.MEDIUM15
15000
300
2000
333
6
PULSAR.P1.MEDIUM20
20000
480
2000
400
7
PULSAR.P1.MEDIUM40
40000
720
2000
533
8
PULSAR.P1.MEDIUM60
60000
1080
2000
533
9
PULSAR.P1.MEDIUM100
100000
1920
3000
533
10
PULSAR.P1.LARGE150
150000
2400
3000
667
11
PULSAR.P1.LARGE200
200000
3600
3000
800
12
PULSAR.P1.LARGE400
400000
4200
3000
1000
13
PULSAR.P1.LARGE600
600000
4800
3000
1200
14
PULSAR.P1.LARGE1000
1000000
6000
3000
1667

注意事项

消息收发 TPS 上限是按照普通消息类型、消息大小4KB为基准计算消息收发之和,高级特性消息和大消息计算时需要乘以对应倍率;峰值带宽指出和入的带宽分别可达到具体的数值。具体计算方式,请参见 专业集群计费说明

存储使用说明

1. 专业集群固定存储版,存储使用统计的是存储服务 Bookie 中磁盘的使用情况,不是 Broker 中主题数据的存储占用情况。
2. 不能根据 Broker 里面全部业务主题的存储使用,来计算存储服务 Bookie 的磁盘使用情况。因为主题所使用的存储空间只占 Bookie 存储的一部分,Bookie 存储中还有索引文件、日志文件等也会占用空间。
3. 不止业务主题数据会占用 Bookie 的磁盘,还有 Cursor、Schema 以及系统内部主题也会占用 Bookie 磁盘。
4. 在 Bookie 的数据回收机制下,Broker 中主题的数据删除了,但 Bookie 中的磁盘不一定就能马上释放掉,这里会存在写放大的情况,通常写放大在 30%以内,但极端情况下可能到达到 50%。这里和 Bookie 的数据清理(Bookie内部叫 GC)机制有关系。
5. 建议您配置并重点关注集群存储使用率告警,建议生产环境中,将存储使用率控制在 80% 以内,防止因为节点存储使用不均衡,导致部分节点提前写满。