全文来看,介绍了一种端侧模拟计算架构创新,区别于数据中心数字信号计算,后者具备强大的数据处理能力,而端侧设备要处理的数据量可能不大,但对能耗、时延等要求比较高,memBrain提供端侧加速计算的全套IP解决方案,为端侧AI/ML落地提供可行路径。
memBrain™ Products[1] | SST - Silicon Storage Technology
当前AI/ML 基础设施现况
- • AI芯片是一种通过加速计算来提高AI/ML应用程序速度的设备,通常降低了能耗。主要的计算任务是针对向量和矩阵的点积操作。
- • 当前硬件加速器:能耗巨大,集群节点涵盖几十千瓦(KW)、数十兆瓦(MW)、数百兆瓦(MW)到少量百瓦(BW)范围内。
AI基础设施架构上区分以下几种形态:
通常包含数十到数千个PE(处理单元),用于执行点积操作。
包括本地SRAM;外部存储器(DRAM和NVM)或近存储器(SRAM和DRAM)。
SRAM单元存储二进制权重,基于ADC的求和或内置加法器的逻辑求和。
需要外部DRAM和NVM。
基于VM或NVM阵列的MAC操作。
Note:随着边缘设备(小场景、广泛部署)的市场不断成熟,当前主导数据中心DNN计算的系统架构,需要创新。
对上述三种计算架构的比较
突出 模拟 CIM (Compute-In-Memory 计算内存)计算架构在能效、空间和性能上的综合优势。
不同存储介质 在 A-CIM 应用上的现况
Note:SRAM 作为成熟的内存介质,面临存储效率不高(仅支持2进制)、能耗高和外部非易失性存储的多重挑战,其他两种介质尚未进入成熟期。
相比之下 ESF FG A-CIM 解决方案:
- • 已投入生产
- • 极低功耗(单元电流为0-100 nA)
- • 支持多级阈值区域
- • 每单元超过32个等级
- • 当前解决方案:支持10万到1亿权重
- • 正在开发:改进的Tile、芯粒封装、3D/2.5D封装
- • 可在所有主要代工厂中使用
Note:ESF FG A-CIM 方案注册商标为 memBrain,其存储介质大概率是浮栅存储器(Floating-Gate Memory)。
以下是 浮栅存储器(Floating-Gate Memory)和 SRAM等存储器的比较:
核心差异:
- 1. 数据保持能力:浮栅存储器的非易失性使其在断电后仍能保留数据,而 SRAM 必须保持持续供电。
- 2. 功耗:浮栅存储器的功耗非常低,特别适合需要长时间保持数据的场景,而 SRAM 的高静态功耗限制了它在低功耗场景中的使用。
- 3. 速度与性能:SRAM 的速度远高于浮栅存储器,因此常被用作高速缓存或临时存储,但它不适合大规模存储。
应用场景:
- • 浮栅存储器:适用于嵌入式设备、大规模非易失性存储、低功耗AI硬件等场景。
- • SRAM:主要用于CPU缓存、FPGA寄存器、临时数据计算等高性能应用。
对 memBrain 商业模式的理解:
memBrain 是一种基于 SST ESF3 SuperFlash 技术的 IP 模块,专注于 模拟计算内存(aCIM) 的实现。其关键特点包括:
- 1. 单周期模拟 MAC 操作,大幅提高计算效率。
- 2. 提供全套硬件和软件工具链,支持从 IP 集成到算法部署的全流程。
- 3. 支持主流工艺节点(40nm 和 28nm),具有广泛的硬件兼容性。
- 4. 主要应用于 AI/ML 的边缘推理,适合低功耗、高性能场景。
关于 SST ESF3 SuperFlash bitcell 技术
SST ESF3 SuperFlash 是一种非易失性存储器(NVM)技术,基于 SuperFlash bitcell,由 Silicon Storage Technology (SST) 提供。以下是其主要特点:
- • 浮栅技术(Floating-Gate Technology):
- • 采用浮栅存储单元,可以在断电时保持数据完整性,是一种成熟的非易失性存储方案。
- • 支持多次读写循环,可靠性高。
- • 高性能和低功耗:
- • SuperFlash 技术以其高能效和低功耗著称。
- • 由于优化的写入电流和存储设计,写入和擦除操作的能耗远低于传统 NVM 技术(如 EEPROM 和 Flash)。
- • 高耐久性和快速读写:
- • 支持大量擦写周期(典型耐久性为 10^5~10^6 次)。
- • 写入延迟较短,读取速度高,适合高速操作场景。
- • 嵌入式工艺兼容性:
- • 可以嵌入标准的 CMOS 工艺,支持多种制程节点(如 40nm 和 28nm),易于与其他逻辑电路整合。
- • 多级存储能力:
- • 可通过电压阈值控制实现每存储单元多个存储等级,从而提升存储密度。
memBrain 的优势和目标场景
Note:原材料中有关于 memBrain 模拟信号的实现原理和2种现货硬件形态介绍,内容深涩,按下不表。
A-CIM memBrain 商业案例
memBrain 芯片架构特点总结
引用链接
[1]
memBrain™ Products: https://www.sst.com/membraintm-products