观点网讯:6月8日消息,腾讯混元近日提出Stem稀疏注意力算法,从"因果信息流"重新审视块级稀疏,采用Token位置衰减(TPD)和输出感知度量(OAM)两大创新,仅用25%算力即逼近稠密注意力的精度。
据介绍,该算法已被机器学习顶会ICML-26收录,配套HPC算子库将理论加速比转化为端到端实测性能。算子层面,HPC 开源的 Stem+BSA 算子将稀疏收益转化为真实硬件加速,128K 上下文下首字延迟降低3.6倍。
信息显示,算法决定"省哪些计算",算子决定"省下的计算能快多少",两者协同构成从理论到部署的完整闭环,目前该算法已集成至Hy3 preview推理框架。
免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。