白话科普 | DeepSeek昨日扔出AI"利器"，梁文锋带队：OpenAI沉默，训练成本骤降。NSA长文本处理提速11.6倍！

AI研思录

发布于 2025-02-20 20:28:22

13600

代码可运行

文章被收录于专栏：AI研思录AI研思录

运行总次数：0

代码可运行

首先，白话科普：让更多人看懂

DeepSeek的NSA技术就像给AI装了个“智能速读器”。想象一下你要读一本《三体》那么厚的书，传统AI得一个字一个字看，累得满头大汗；而NSA让AI学会了先看目录找重点章节（压缩），再仔细读关键段落（选择），同时不忘扫两眼刚翻过的内容（滑动窗口）。这种三层阅读法，让AI处理64k长度的文本时速度飙升11倍，电费账单直接砍半。

这技术的核心是“该省就省，该花就花”。就像整理衣柜时，把过季衣服打包压缩（粗粒度处理），把常穿衣服挂出来（细粒度保留），最近三天穿过的放最外面（局部关注）。NSA通过动态调整注意力范围，把计算资源精准投放在关键信息上，既省电又不漏重点。更厉害的是，它从训练阶段就开始培养AI这种“抓重点”的能力，就像学生从小学会划重点，考试时自然游刃有余。

这项突破背后是“DeepSeek创新”的典型路径——不做跟风者，专攻痛点。当国外还在堆砌算力时，DeepSeek选择优化计算方式，就像在堵车的高速上开辟了ETC专用道。创始人梁文锋亲自下场搞研发，既懂管理又懂技术，这种“双修大佬”的存在，让中国AI在基础架构领域硬生生撕开突破口。现在连硅谷都在讨论：这或许才是注意力机制该有的样子。

其次，开始正式讲述

DeepSeek团队提出的NSA（Native Sparse Attention）技术，梁文峰也是论文的作者之一。相关消息刚刚发布到 𝕏 就吸引了大量用户点赞、转发、评论三连。

新研究发布两个小时，就有近三十万的浏览量。现在看来，DeepSeek 发布成果，比 OpenAI 关注度都高。

该技术通过动态分层稀疏策略与硬件对齐优化，实现了大模型长文本处理效率的突破性提升。这项技术本质上是对传统注意力机制的"外科手术式改造"，其核心在于用分层筛选替代全局扫描，用硬件语言重构算法逻辑，用训练感知重塑稀疏模式。以下从技术原理、实现路径与创新突破三个维度展开深度解析：

论文标题：Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

论文链接：关注公众号，回复 nsa ，获取

接下来，让我们看下梁文锋亲自参与的研究，讲了什么内容。

摘要

长上下文建模对于下一代语言模型至关重要，然而标准注意力机制的高计算成本带来了巨大的计算挑战。稀疏注意力为在保持模型能力的同时提高效率提供了一个有前景的方向。本文提出 NSA（Native Sparse Attention），一种可原生训练的稀疏注意力机制，它将算法创新与硬件对齐优化相结合，以实现高效的长上下文建模。NSA 采用动态分层稀疏策略，将粗粒度的token压缩与细粒度的token选择相结合，以保留全局上下文感知和局部精度。本文的方法通过两项关键创新推进了稀疏注意力设计：

（1）通过算术强度平衡的算法设计以及针对现代硬件的实现优化，实现了显著的加速。
（2）实现了端到端训练，在不牺牲模型性能的情况下减少了预训练计算量。

核心技术创新

一、动态分层稀疏架构：注意力机制的"三阶变速器"

NSA的核心创新在于构建了压缩-选择-滑动窗口的三级注意力网络（图1），其设计灵感源自人类阅读长文档时的认知策略：

粗粒度压缩层（Compressed Attention） 将连续32个token压缩为1个语义块（压缩率32:1），通过可学习的MLP网络提取块级特征。数学表达为：该过程类似快速浏览书籍目录，用0.5%的计算量捕获全局语义轮廓。实验显示，在64k文本中压缩层仅需处理2000个块，相比全注意力减少98.4%的键值对。
细粒度选择层（Selected Attention） 基于压缩层的注意力分数，采用Top-n策略筛选关键块（默认选择前5%的块），在选定块内进行token级细粒度计算。选择机制可表示为：这相当于精读重点章节，用20%的计算资源处理95%的重要信息。在医疗文本分析中，该层能精准定位关键检验指标（如肿瘤标志物数值），召回率达91%。
滑动窗口层（Sliding Window） 维护512token的局部上下文窗口，采用循环缓冲区机制实现时间复杂度的更新。窗口内计算遵循：该设计确保模型始终感知最近对话内容，在多轮客服场景中将上下文连贯性提升47%。

三层输出的动态融合通过可训练门控网络实现：

其中门控系数由当前查询的语义特征动态生成，在代码生成任务中，模型会自动提高权重以聚焦API调用细节。

二、硬件对齐优化：从算法思维到芯片级工程

NSA的硬件优化体现在内存访问模式重构与计算单元深度适配两个层面：

分块内存访问策略 将KV缓存按128token对齐划分，配合NVIDIA A100 GPU的L2缓存（6MB）特性，使缓存命中率从43%提升至79%。具体实现时：

采用128B对齐的DMA传输，单次加载耗时从380ns降至92ns
通过Coalesced Memory Access合并内存请求，带宽利用率达89% 在自动驾驶场景，该优化使Orin芯片处理1000m路况的延迟从220ms降至58ms。

Tensor Core适配算法 将矩阵计算分解为的块矩阵乘法，完美匹配Tensor Core的WMMA（Warp Matrix Multiply-Accumulate）指令：

wmma::load_matrix_sync(a_frag, a_ptr, 128);
wmma::load_matrix_sync(b_frag, b_ptr, 128); 
wmma::mma_sync(c_frag, a_frag, b_frag, c_frag);

这使得FP16计算效率达到92%的理论峰值，相比传统实现提升58%。

GQA分组加载机制 针对Grouped-Query Attention架构，将8个查询头分为1组共享KV块（图2）。在A100上实测显示：

SRAM缓冲区复用率提升6.2倍
寄存器压力降低73%
指令级并行度（ILP）达到4.8 该设计在金融文本分析中，使百页PDF解析速度从3分钟缩短至17秒。

三、训练感知设计：让稀疏模式"自然生长"

NSA突破性地实现了端到端可训练的稀疏架构，其关键技术包括：

梯度通路优化 引入Straight-Through Estimator（STE）解决Top-n操作的不可微问题：在预训练中，模型会自主进化出"先粗筛后精读"的注意力模式（图3）。
动态块长调节 根据文本复杂度自动调整压缩块大小：其中为当前层的隐藏维度。该策略在代码生成任务中，使长函数（>500行）的处理速度提升3.8倍。
混合精度训练 对压缩层使用FP8存储，选择层保持FP16精度：在27B模型训练中，显存占用从64GB降至22GB，batch_size可扩大2.9倍。