1. 分层存储体系
智算中心采用分层存储架构,满足不同性能与成本需求:
- 热数据层:全闪存阵列(NVMe SSD),提供最高 IOPS 和最低延迟,用于模型参数存储和频繁访问的训练数据
- 温数据层:大容量 NVMe 设备,存储预处理后的训练数据集
- 冷数据层:高密度 HDD 或对象存储,归档原始数据和历史模型
2. 并行文件系统
并行文件系统是 AI 训练场景的核心存储组件,主流产品包括:
- Lustre:开源、成熟、超大规模,并行 I/O 性能卓越,适合超算和大规模 AI 训练
- GPFS(IBM Spectrum Scale):企业级、功能丰富,元数据性能优势显著,适合小文件随机读写场景
- BeeGFS:轻量、易用、高性能,适合中小规模 AI 集群
- 华为 OceanStor Pacific:全闪、高密、多协议,企业级 AI 和大数据场景
3. 存算分离架构
现代智算中心普遍采用存算分离设计:
- 计算节点:专注 GPU 计算,通过 RDMA 网络访问远程存储
- 存储节点:独立部署,支持弹性扩展
- 优势:避免存储成为瓶颈,提升整体系统可靠性