首页
学习
活动
专区
圈层
工具
发布

腾讯混元提出Stem稀疏注意力算法 已被机器学习顶会ICML-26收录

观点网讯:6月8日消息,腾讯混元近日提出Stem稀疏注意力算法,从"因果信息流"重新审视块级稀疏,采用Token位置衰减(TPD)和输出感知度量(OAM)两大创新,仅用25%算力即逼近稠密注意力的精度。

据介绍,该算法已被机器学习顶会ICML-26收录,配套HPC算子库将理论加速比转化为端到端实测性能。算子层面,HPC 开源的 Stem+BSA 算子将稀疏收益转化为真实硬件加速,128K 上下文下首字延迟降低3.6倍。

信息显示,算法决定"省哪些计算",算子决定"省下的计算能快多少",两者协同构成从理论到部署的完整闭环,目前该算法已集成至Hy3 preview推理框架。

免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OmeOinX9k4w6yQMcsGUU6V7A0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券