前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >memBrain:边缘 AI/ML 加速方案

memBrain:边缘 AI/ML 加速方案

作者头像
数据存储前沿技术
发布2025-02-11 19:13:52
发布2025-02-11 19:13:52
800
举报

全文来看,介绍了一种端侧模拟计算架构创新,区别于数据中心数字信号计算,后者具备强大的数据处理能力,而端侧设备要处理的数据量可能不大,但对能耗、时延等要求比较高,memBrain提供端侧加速计算的全套IP解决方案,为端侧AI/ML落地提供可行路径。

memBrain™ Products[1] | SST - Silicon Storage Technology

当前AI/ML 基础设施现况

  • • AI芯片是一种通过加速计算来提高AI/ML应用程序速度的设备,通常降低了能耗。主要的计算任务是针对向量和矩阵的点积操作。
  • • 当前硬件加速器:能耗巨大,集群节点涵盖几十千瓦(KW)、数十兆瓦(MW)、数百兆瓦(MW)到少量百瓦(BW)范围内。

AI基础设施架构上区分以下几种形态:

  • 数字神经处理器:红色标注的1/2

通常包含数十到数千个PE(处理单元),用于执行点积操作。

包括本地SRAM;外部存储器(DRAM和NVM)或近存储器(SRAM和DRAM)。

  • 数字CIM(计算内存):红色标注的3

SRAM单元存储二进制权重,基于ADC的求和或内置加法器的逻辑求和。

需要外部DRAM和NVM。

  • 模拟CIM:标注4

基于VM或NVM阵列的MAC操作。

Note:随着边缘设备(小场景、广泛部署)的市场不断成熟,当前主导数据中心DNN计算的系统架构,需要创新。

对上述三种计算架构的比较

突出 模拟 CIM (Compute-In-Memory 计算内存)计算架构在能效、空间和性能上的综合优势。

不同存储介质 在 A-CIM 应用上的现况

Note:SRAM 作为成熟的内存介质,面临存储效率不高(仅支持2进制)、能耗高和外部非易失性存储的多重挑战,其他两种介质尚未进入成熟期。

相比之下 ESF FG A-CIM 解决方案:

  • • 已投入生产
  • • 极低功耗(单元电流为0-100 nA)
  • • 支持多级阈值区域
  • • 每单元超过32个等级
  • • 当前解决方案:支持10万到1亿权重
  • • 正在开发:改进的Tile、芯粒封装、3D/2.5D封装
  • • 可在所有主要代工厂中使用

Note:ESF FG A-CIM 方案注册商标为 memBrain,其存储介质大概率是浮栅存储器(Floating-Gate Memory)。

以下是 浮栅存储器(Floating-Gate Memory)和 SRAM等存储器的比较:

核心差异:

  1. 1. 数据保持能力:浮栅存储器的非易失性使其在断电后仍能保留数据,而 SRAM 必须保持持续供电。
  2. 2. 功耗:浮栅存储器的功耗非常低,特别适合需要长时间保持数据的场景,而 SRAM 的高静态功耗限制了它在低功耗场景中的使用。
  3. 3. 速度与性能:SRAM 的速度远高于浮栅存储器,因此常被用作高速缓存或临时存储,但它不适合大规模存储。

应用场景:

  • • 浮栅存储器:适用于嵌入式设备、大规模非易失性存储、低功耗AI硬件等场景。
  • • SRAM:主要用于CPU缓存、FPGA寄存器、临时数据计算等高性能应用。

对 memBrain 商业模式的理解:

memBrain 是一种基于 SST ESF3 SuperFlash 技术的 IP 模块,专注于 模拟计算内存(aCIM) 的实现。其关键特点包括:

  1. 1. 单周期模拟 MAC 操作,大幅提高计算效率。
  2. 2. 提供全套硬件和软件工具链,支持从 IP 集成到算法部署的全流程。
  3. 3. 支持主流工艺节点(40nm 和 28nm),具有广泛的硬件兼容性。
  4. 4. 主要应用于 AI/ML 的边缘推理,适合低功耗、高性能场景。

关于 SST ESF3 SuperFlash bitcell 技术

SST ESF3 SuperFlash 是一种非易失性存储器(NVM)技术,基于 SuperFlash bitcell,由 Silicon Storage Technology (SST) 提供。以下是其主要特点:

  • • 浮栅技术(Floating-Gate Technology):
    • • 采用浮栅存储单元,可以在断电时保持数据完整性,是一种成熟的非易失性存储方案。
    • • 支持多次读写循环,可靠性高。
  • • 高性能和低功耗:
    • • SuperFlash 技术以其高能效和低功耗著称。
    • • 由于优化的写入电流和存储设计,写入和擦除操作的能耗远低于传统 NVM 技术(如 EEPROM 和 Flash)。
  • • 高耐久性和快速读写:
    • • 支持大量擦写周期(典型耐久性为 10^5~10^6 次)。
    • • 写入延迟较短,读取速度高,适合高速操作场景。
  • • 嵌入式工艺兼容性:
    • • 可以嵌入标准的 CMOS 工艺,支持多种制程节点(如 40nm 和 28nm),易于与其他逻辑电路整合。
  • • 多级存储能力:
    • • 可通过电压阈值控制实现每存储单元多个存储等级,从而提升存储密度。

memBrain 的优势和目标场景

Note:原材料中有关于 memBrain 模拟信号的实现原理和2种现货硬件形态介绍,内容深涩,按下不表。

A-CIM memBrain 商业案例

memBrain 芯片架构特点总结

引用链接

[1] memBrain™ Products: https://www.sst.com/membraintm-products

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-12-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 王知鱼 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 当前AI/ML 基础设施现况
  • 对上述三种计算架构的比较
  • 核心差异:
  • 应用场景:
  • 对 memBrain 商业模式的理解:
  • memBrain 的优势和目标场景
  • A-CIM memBrain 商业案例
  • memBrain 芯片架构特点总结
    • 引用链接
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档