memBrain：边缘 AI/ML 加速方案

全文来看，介绍了一种端侧模拟计算架构创新，区别于数据中心数字信号计算，后者具备强大的数据处理能力，而端侧设备要处理的数据量可能不大，但对能耗、时延等要求比较高，memBrain提供端侧加速计算的全套IP解决方案，为端侧AI/ML落地提供可行路径。

memBrain™ Products[1] | SST - Silicon Storage Technology

当前AI/ML 基础设施现况

• • AI芯片是一种通过加速计算来提高AI/ML应用程序速度的设备，通常降低了能耗。主要的计算任务是针对向量和矩阵的点积操作。
• • 当前硬件加速器：能耗巨大，集群节点涵盖几十千瓦（KW）、数十兆瓦（MW）、数百兆瓦（MW）到少量百瓦（BW）范围内。

AI基础设施架构上区分以下几种形态：

• • 数字神经处理器：红色标注的1/2

通常包含数十到数千个PE（处理单元），用于执行点积操作。

包括本地SRAM；外部存储器（DRAM和NVM）或近存储器（SRAM和DRAM）。

• • 数字CIM（计算内存）：红色标注的3

SRAM单元存储二进制权重，基于ADC的求和或内置加法器的逻辑求和。

需要外部DRAM和NVM。

• • 模拟CIM：标注4

基于VM或NVM阵列的MAC操作。

Note：随着边缘设备（小场景、广泛部署）的市场不断成熟，当前主导数据中心DNN计算的系统架构，需要创新。

对上述三种计算架构的比较

突出 模拟 CIM （Compute-In-Memory 计算内存）计算架构在能效、空间和性能上的综合优势。

不同存储介质 在 A-CIM 应用上的现况

Note：SRAM 作为成熟的内存介质，面临存储效率不高（仅支持2进制）、能耗高和外部非易失性存储的多重挑战，其他两种介质尚未进入成熟期。

相比之下 ESF FG A-CIM 解决方案：

• • 已投入生产
• • 极低功耗（单元电流为0-100 nA）
• • 支持多级阈值区域
• • 每单元超过32个等级
• • 当前解决方案：支持10万到1亿权重
• • 正在开发：改进的Tile、芯粒封装、3D/2.5D封装
• • 可在所有主要代工厂中使用

Note：ESF FG A-CIM 方案注册商标为 memBrain，其存储介质大概率是浮栅存储器（Floating-Gate Memory）。

以下是 浮栅存储器（Floating-Gate Memory）和 SRAM等存储器的比较：

核心差异：

1. 1. 数据保持能力：浮栅存储器的非易失性使其在断电后仍能保留数据，而 SRAM 必须保持持续供电。
2. 2. 功耗：浮栅存储器的功耗非常低，特别适合需要长时间保持数据的场景，而 SRAM 的高静态功耗限制了它在低功耗场景中的使用。
3. 3. 速度与性能：SRAM 的速度远高于浮栅存储器，因此常被用作高速缓存或临时存储，但它不适合大规模存储。

应用场景：

• • 浮栅存储器：适用于嵌入式设备、大规模非易失性存储、低功耗AI硬件等场景。
• • SRAM：主要用于CPU缓存、FPGA寄存器、临时数据计算等高性能应用。

对 memBrain 商业模式的理解：

memBrain 是一种基于 SST ESF3 SuperFlash 技术的 IP 模块，专注于 模拟计算内存（aCIM） 的实现。其关键特点包括：

1. 1. 单周期模拟 MAC 操作，大幅提高计算效率。
2. 2. 提供全套硬件和软件工具链，支持从 IP 集成到算法部署的全流程。
3. 3. 支持主流工艺节点（40nm 和 28nm），具有广泛的硬件兼容性。
4. 4. 主要应用于 AI/ML 的边缘推理，适合低功耗、高性能场景。

关于 SST ESF3 SuperFlash bitcell 技术

SST ESF3 SuperFlash 是一种非易失性存储器（NVM）技术，基于 SuperFlash bitcell，由 Silicon Storage Technology (SST) 提供。以下是其主要特点：

• • 浮栅技术（Floating-Gate Technology）：
  • • 采用浮栅存储单元，可以在断电时保持数据完整性，是一种成熟的非易失性存储方案。
  • • 支持多次读写循环，可靠性高。
• • 高性能和低功耗：
  • • SuperFlash 技术以其高能效和低功耗著称。
  • • 由于优化的写入电流和存储设计，写入和擦除操作的能耗远低于传统 NVM 技术（如 EEPROM 和 Flash）。
• • 高耐久性和快速读写：
  • • 支持大量擦写周期（典型耐久性为 10^5~10^6 次）。
  • • 写入延迟较短，读取速度高，适合高速操作场景。
• • 嵌入式工艺兼容性：
  • • 可以嵌入标准的 CMOS 工艺，支持多种制程节点（如 40nm 和 28nm），易于与其他逻辑电路整合。
• • 多级存储能力：
  • • 可通过电压阈值控制实现每存储单元多个存储等级，从而提升存储密度。

memBrain 的优势和目标场景

Note：原材料中有关于 memBrain 模拟信号的实现原理和2种现货硬件形态介绍，内容深涩，按下不表。

A-CIM memBrain 商业案例

memBrain 芯片架构特点总结

引用链接

[1] memBrain™ Products: https://www.sst.com/membraintm-products