我毫不怀疑，在春节期间，DeepSeek将会发布自己的新模型。这是因为，每次一到重大的节日，DS 发新模型已经算是传统了。看看它之前发的好几个模型，都是在假期附近发布，真的是让我们这些程序员不活了～

那么这一次为啥突然往上大规模传V4 版本就要出来了呢？这个新闻消息主要来源于国外科技媒体 The Information。该媒体长期面向硅谷科技高管与一线创业者，被视为高可信度的信息源之一。

它最新爆料就称：DeepSeek 预计将在未来几周发布下一代模型 DeepSeek-V4，并将重点强化代码能力；而且重点是在公司内部基准测试中，V4 在编码任务上的表现已超过 Anthropic 的 Claude 以及 OpenAI 的 GPT 系列现有模型。

那未来几周不就是春节前后吗？所以很多人觉得这个新闻大概率就是真的，都在其他 V4 版本新模型的效果到底能不能再次惊艳众人。

一个关键的问题在于：为什么是 V4，而不是 V3.3 这样的小版本更新？要知道刚刚 DeepSeek 更新到了最新的 V3.2 模型。所以一个比较合理的猜测在于，下一代模型很可能启动一次全新的预训练，而不会只是基于 V3 继续做优化。之前的 V3.1、V3.2，本质是在 V3 的基础上做能力增强和调整，其上限仍受限于最初的预训练规模和知识覆盖范围。

虽然，V3.2在推理能力上有明显大幅的增强。在Reasoning Capabilities（推理能力）的数据集测试上，和目前最强的Gemini 3 pro效果差不多，有一些甚至达到了SOTA的水准。 但是想要真的能够继续进一步突破上限，还是需要在预训练上做文章。

更重要的是，DS团队在V3.2报告中已明确后续方向：通过扩大预训练规模来弥补这一差距。一旦预训练进入新一轮规模扩张，模型的参数量、架构设计、能力边界乃至整体定位，都将与 V3 系列产生本质差异。

因此，从技术演进逻辑看，V4 更像是一次“代际切换”，而非简单延续。这也解释了为何此刻会推出全新主版本，而不仅仅是修修补补的改进。

从更广的视角看，这也印证了一个无数大模型所得出的结论，想要不断逼近 Scaling Law 的上限，就要更多的数据，更大的模型结构，来进行支撑。

那么V4 模型到底是什么样的具体框架和技术呢？目前还没有出，只能从它之前发布的几个技术去猜测一下。

V4 大概可能也是采取了 V3.1一样的推理融合技术。Chat模型和Reasoning模型进行融合，形成一个融合推理模型来进一步提升模型效果，这种一般训练需要经过四个阶段。

阶段二：基于推理的强化学习（RL）

在注意力机制上，可能还是选用之前的 DSA（稀疏注意力，DSA），旨在在处理长上下文（long context）时提升训练与推理效率，同时尽可能保持输出质量不变。

稀疏注意力的思路在很多新一代 Transformer 变体中都在被探索：即不是所有 token 间都做全连接的 self-attention，而是选一些关键 token 或局部连接，从而减少计算复杂度。DeepSeek 在这个版本中尝试了一种“细粒度稀疏”的策略。具体就是用到了两个关键组件：

Lightning Indexer和Top-k Token Selection。

给定一个 query token ，它会和之前的 token计算一个轻量的 index score。

它的计算量极小，主要负责快速判断哪些 token 可能相关。

对每个 query token，indexer 会输出一组分数 I，然后选取 top-k 的 key-value token，丢掉其余的。接下来只在这些 top-k 上计算真正的注意力。

经过两个组件之后，这样复杂度从 O(L^2)降低到O(LK)，其中 k<<L

包括在最新的 V3.2 模型中，有更多的 Agent 技术进行调用。表现包括：

这一点在实际应用里非常重要：因为大部分公司真正需要的不是“聊天模型”，而是能独立完成任务的 AI agent。

新版本的V3.2 模型不同于过往版本在思考模式下无法调用工具的局限，它是首个将思考融入工具使用的模型，并且同时支持思考模式与非思考模式的工具调用。

在具体的训练当中，DeepSeek使用一种大规模 Agent 训练数据合成方法，构造了大量「难解答，易验证」的强化学习任务（1800+ 环境，85,000+ 复杂指令），大幅提高了模型的泛化能力。

从上面的图来看，DeepSeek-V3.2 模型在智能体评测中达到了当前开源模型的最高水平，大幅缩小了开源模型与闭源模型的差距。值得说明的是，V3.2 并没有针对这些测试集的工具进行特殊训练，也就是能够广泛适配不同的任务。

这个技术就是为了解决三个问题：

mHC 的改进的核心点在于：把每层的 residual mixing 矩阵 (H^{res}_l) 约束为“双随机矩阵（doubly stochastic）”，也就是落在 Birkhoff polytope（双随机矩阵集合/置换矩阵凸包）这个流形/多面体上

DS研究团队通过实验观察到，由于缺乏有效约束机制，HC系统在训练过程中会出现控制参数无序波动的现象。为解决这一问题，研究团队引入了Birkhoff polytope这一特定流形结构作为优化空间。选择该流形的主要依据在于其具备多重优良特性：

Birkhoff polytope 是置换矩阵的凸包，所以 可视作“对多种置换混合方式的加权平均”；反复作用会带来更强的跨流混合，但仍是单调增强的融合而非失控放大

此外，mHC 还加了非负性约束，避免正负系数叠加造成信号抵消（也可理解为一种简单的流形/可行域约束）

HC 到底是“哪里不稳”？mHC 又是“怎么把它稳住的”呢？从实验上看，在前期训练过程中，HC loss 波动巨大，甚至有负值，说明训练初期 residual mixing 还没“学稳”。中后期的时候，HC 的 loss gap 稳定停在一个非零区间，且有明显的长期抖动。

而 mHC作为 reference，整体的loss 基本单调、平滑，而且没有长期偏移

在前向和后向传播上，多层连乘后，梯度链路被放大成“指数塔”。这就是 HC 训练不稳的根因

不是某一层“坏”，而是可学习 residual mixing 的“连乘”失控导致的。

写在最后：V4 能不能第二次震惊世界？

综合目前所有公开信息和技术演进线索来看，DeepSeek-V4 大概率不是一次“堆参数的常规升级”，可能更像是像 R1一样的一个新框架。

V4 要解决的，是下一层更难的问题：

从这个角度看，前面提到的几条技术线，其实是高度协同的，并不是一个零散的 feature：

所以现在就做好板凳，等着春节 V4 的模型，看看能不能再一次惊艳众人。 

DeepSeek-V4 传闻背后：预训练、Agent 化与稳定性的三重博弈

后台策略工程师

人工智能

新闻资讯

DeepSeek或将在春节发布新一代V4大模型，重点强化代码能力，内部测试显示其编码表现已超越Claude和GPT系列。V4可能采用全新预训练框架，融合推理技术、稀疏注意力机制和mHC稳定技术，实现代际突破。新模型将聚焦长上下文处理、Agent任务执行和超大规模训练稳定性，有望再次刷新AI性能上限。

强化学习

智能体

Agent

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

DeepSeek-V4 传闻背后：预训练、Agent 化与稳定性的三重博弈

DeepSeek-V4 传闻背后：预训练、Agent 化与稳定性的三重博弈

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐