选择节点规格及数量

最近更新时间:2025-01-06 11:10:13

我的收藏
预估业务所需的数量规模,并确定向量数据库的实例类型、副本数量之后,便可计算业务所需的节点内存容量,选择符合业务需求的 CPU 与内存资源配比规格。

步骤1:选择节点类型

腾讯云向量数据库依据存储节点 CPU 与内存资源分配比例不同,分为计算型、标准型、存储型三类,如下表所示。请根据业务特点选择合适的节点类型。
节点类型
CPU 与内存分配比例
主要特点
适用场景
典型业务
计算型
1:2
主要用于快速查找和检索向量数据,计算性能非常高
价格相对较高
特别适用于高并发查询请求、流量大、延迟敏感的场景
实时推荐、广告投放等
标准型
1:4
具有均衡的计算和存储资源
价格适中
适用于绝大多数日常业务
RAG 应用
存储型
1:8
主要用于存储和管理大规模的向量数据,计算性能较弱
价格相对较低
特别适用于数据量大、数据增长快、查询 QPS 相对较低的场景
数据清洗、审核流等

步骤2:选择节点规格

请根据业务所需的节点类型以及估算的内存,选择节点所需的规格。若已预估业务有100万条数据,向量数据为1536维,QPS 要求不高,则根据公式单节点内存(GB)= 数据量 *(向量维度 * 4 + M * 8)* 1.2/(1024^3) 估算 HNSW 向量索引单节点所需内存 = 1.2 × 1000000 × (1536 × 4 + 20 × 8) / (1024^3) ≈ 7.04GB,可选择计算型4核8GB、标准型2核8GB或存储型1核8GB规格。
说明:
选择规格时,除了考虑实际数据存储所需的内存之外,还需要评估额外的内存,例如,处理请求、缓存数据、并发处理等所需消耗的内存资源。否则,将会造成集合只读、新数据无法写入、新集合无法重建等异常而阻塞业务正常运行。
向量数据库建议预留1.2 到1.3倍的内存 buffer,以确保系统在当前负载下稳定运行,也为未来的扩展和优化留出空间。
若业务需要存储更多标量字段,或者可能存在扩展,则需选择更大规格。
若所选规格,超出当前支持的规格范围,请 提交工单 联系腾讯云工程师。
说明:
在选择磁盘规格时,建议选择的磁盘容量是单节点内存容量的两倍。对于 IVF_PQ 或 IVF_SQ 索引,由于磁盘存储不会压缩向量数据,实际所需的磁盘空间需要根据内存空间除以压缩比来计算,以确保有足够的存储空间来容纳未压缩的向量数据。
节点类型
CPU
内存(GB)
建议向量数据规模
(基于1536维32位 Float 存储下估算的向量规模,不包含标量数据)
建议向量数据规模 (基于768维32位 Float 存储下估算的向量规模,不包含标量数据)
计算型
1
2
250,000
500,000
2
4
500,000
1,000,000
4
8
1,000,000
2,000,000
8
16
2,000,000
4,000,000
16
32
4,000,000
8,000,000
24
48
6,000,000
12,000,000
32
64
8,000,000
16,000,000
标准型
1
4
500,000
1,000,000
2
8
1,000,000
2,000,000
4
16
2,000,000
4,000,000
8
32
4,000,000
8,000,000
12
48
6,000,000
12,000,000
16
64
8,000,000
16,000,000
存储型
1
8
1,000,000
2,000,000
2
16
2,000,000
4,000,000
4
32
4,000,000
8,000,000
6
48
6,000,000
12,000,000
8
64
8,000,000
16,000,000

步骤3:计算节点数量

腾讯云向量数据库采用分布式架构,支持多节点通信与协调,目前支持1~30个节点。默认选择3个节点来保证高可用。
实例类型
节点数量
说明
单机版
[1,30]
如果需30节点以上更大规格,请 提交工单 申请。
高可用版
两可用区:[2,30]
三可用区:[3,30]
如果单个节点的规格小于业务所需内存,那么就需要使用多个节点来组成一个集群,以满足业务需求。可以按照以下公式将单个节点所需的内存大小转化为节点数,计算需要的节点数量。
节点数 = 单节点内存估算大小 × (1 + 副本数) ÷ 单节点内存规格
单节点内存估算大小:指一个节点所需的内存大小,包括向量索引内存和标量索引内存,即为 资源估算 的大小。
单节点规格:指每个节点的内存规格,即为 步骤3:选择节点规格 对应的内存容量。
1 + 副本数:副本指每个节点的副本数量。已在 选择实例类型与副本数 中确定副本数量。
示例:单份数据30GB,副本数 = 1(1主1副本),那总内存就是60GB,此时可以选3个24GB规格的节点。