最近DeepSeek频繁在show技术，前几个星期就魔改了一下残差结构，提出了新的mHC技术。这个技术可以使得训练更加稳定。

而这一次，DeepSeek有一次提出了新的技术，被称为

这个技术是为了弥补Transformer 一个先天缺陷：

缺少原生的“查表式记忆”能力

，导致模型不得不用昂贵的 Attention/FFN 去“模拟检索”。

怎么去理解这个问题呢？可以举一个具体的例子，如果我们现在输入一个句子“美国总统现在是谁？”

对于传统的transformers架构来说，模型看到这句话时，其实要经历一串“隐式重建”的过程：

模型是在用多层计算，把一个“固定概念”一点点拼出来

那么如果是有了Engram这个技术，会发生什么样的情况呢？在输入句子之后，模型一边正常算，一边做了一件“偷偷的事”：

模型不再花很多层去“理解这是什么东西”，而是直接进入“怎么回答”的阶段。

整体的框架流程论文中已经画出来了~

MoE 解决的是“算得更聪明”（条件计算），Engram 解决的是“记得更便宜”（条件记忆）。两者是互补结构。

在日常的语言任务里大致有两类子任务：

但标准 Transformer 没有原生查询功能，于是很多本该 O(1) 查到的东西，被迫在前几层里反复“拼出来”。你可以把它理解成：

模型为了认出一个多 token 实体，得用好几层逐步把特征组合出来——

用昂贵的计算去重建一个静态表

别让网络“死记硬背”这些刻板模式，把它们卸载到一个专门的存储结构里

，把层数和算力留给真正需要推理的部分。

：每个 token 只激活少量专家，用稀疏计算扩大模型容量。DeepSeek 这次提出了另一条稀疏轴：

于是模型不再“全靠算”，而是在前向里多了一步：

查一下“这个上下文我见过没”

，把查到的向量融合进来。这就像给 Transformer 内部装了一个“低成本、可扩展的查表层”。

如果有学到过以前的NLP知识的都知道N-gram这个技术。本质上就是把一段文本，按“连续的 N 个元素”切成小片段来看的方法。

比如输入一句话“今天天气不错”

那么1-gram的表示方式为：今 ｜ 天 ｜ 天 ｜ 气 ｜ 不 ｜ 错

2-gram的表示为：今天 ｜ 天天 ｜ 天气 ｜ 气不 ｜ 不错

而Engram 的核心流程很像“现代版 N-gram embedding”：

这一步门控机制很关键：因为哈希天然会有碰撞、多义性，门控相当于让模型在当前上下文里判断这条“记忆”是否可信。

关键发现：Sparsity Allocation 出现“U 型规律”，MoE 和 Memory 要配比

论文中提出一个很有意思的实验设问：

在固定总参数预算下，MoE 专家参数与 Engram 记忆参数，怎么分配最好？

：纯 MoE（全给专家）并不是最优；把大约 

 的稀疏预算挪给 Engram，验证损失更低，最优点在不同规模/算力下都相对稳定（约 ρ≈75%–80%给 MoE）。

对于这个结论，一个最关键简单的描述可以总结成这样子：

为了评估 Engram 真是在承载世界知识，论文中做了一个实验图

至少一部分世界知识确实被“搬”进了 Engram

，而不是仍然全部压在 Transformer 参数里。

Engram 的“门控（gating）”确实学会了：只在“这是一个稳定、固定的局部模式”时才强力介入，而不是对所有 token 都乱用记忆。图中每一行是一句话，每个 token 上方的

表示一个数值，颜色越深（越红） 表示 Engram 介入越强。

可以看到对于中文语句：中国四大发明包括：造纸术、指南针、火药和印刷术。

在“术”、“针”等实体词语，激活明显更高。这在中文里非常重要，因为中文

，N-gram 对“稳定组合”的捕捉价值更高。

这进一步证明了：Engram只在“局部 token 组合形成一个稳定模式”的位置才强烈介入

但如果有更多的实验证明这个方向是可行的，那么最后可能会引领一个新的方向。

目前DeepSeek 在走极致化的“稀疏”路线：

如果这条路跑通，未来可能出现一种很有代表性的架构形态：

小而精的推理核心 + 可扩展、可更新的超大记忆库

虽然参数规模继续暴涨，但推理成本能被压在一个相对可控的水平线上。

给大模型配一本“速查手册”：DeepSeek 的 Engram 到底解决了什么问题？

后台策略工程师

人工智能

算法

职业发展

DeepSeek最新提出Engram技术，解决Transformer缺乏原生查表记忆的缺陷。该技术通过局部片段触发记忆、O(1)查表取向量，让模型直接获取知识而非逐层计算。与MoE技术互补，Engram实现"记得更便宜"，将20-25%参数用于记忆存储效果最佳。实验显示该技术显著提升TriviaQA等依赖外部知识的任务表现，特别适合中文等组合性语言。

路由

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

DeepSeek最新提出Engram技术，解决Transformer缺乏原生查表记忆的缺陷。该技术通过局部片段触发记忆、O(1)查表取向量，让模型直接获取知识而非逐层计算。与MoE技术互补，Engram实现"记得更便宜"，将20-25%参数用于记忆存储效果最佳。实验显示该技术显著提升TriviaQA等依赖外部知识的任务...

给大模型配一本“速查手册”：DeepSeek 的 Engram 到底解决了什么问题？

给大模型配一本“速查手册”：DeepSeek 的 Engram 到底解决了什么问题？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐