![Gemini_Generated_Image_glhhu3glhhu3glhh.jpg](https://developer.qcloudimg.com/http-save/yehe-1416240/f2bd9dfe53304e954980973ac8f52a44.jpg)
DeepSeek 再次开源了线上生产环境的核心推理引擎 DeepInfer。Apache-2.0，21K Star，4个commit，整体给的很实在：batch scheduler、KV cache、分片、采样、结构化输出都有。 /这几天抽空读了一下工程源码，有两处要注意一下/ ：
- 一是只支持 DeepSeek-V4.1-Flash 一个模型，入口是离线的 examples/offline_inference.py，没有 OpenAI 兼容的 HTTP 服务，替代不了 vLLM。
- 二是 README 里「未包含」的三条恰好最值钱：KV cache 系统、VE/Prefill/Decode 分离部署、DP 副本间的负载均衡，把集群成本压下去的正是这三样，DeepSeek 留在了内部。

DS之前开源了DeepGEMM（矩阵乘算子）、FlashMLA（注意力优化）、3FS（文件系统），这些其实都是零件，而 DeepInfer 是把这些零件和硬件接起来、扛并发、压成本的那层调度。
![fig1-stack.png](https://developer.qcloudimg.com/http-save/yehe-1416240/5ba1fd3c4a4e980157f794912c03841a.png)
## 一、工程设计亮点

整体给我的感觉是把推理当成一条流水线看。

![fig4-request.png](https://developer.qcloudimg.com/http-save/yehe-1416240/b1ab9eb3b22e76428e06ecbd87663418.png)
**1. 双计算平台的原生异构支持**

NVIDIA 的 SM100 和华为昇腾 950 是两条平行的实现线。看目录结构最直接：deepinfer/npu_ops 下有 deep_select、vit_attn 这些昇腾入口，tilelang_ops 下面 cuda 和 asc 两套实现逐文件对应，算子差异收在可插拔的 OPS 层，Python 服务层不碰设备。国产化和异构算力池化靠的就是这一层。

**2. 异步调度与 SWA Bounded Replay**

异步调度把 CPU 组 batch 和设备执行叠在一起，环境变量是 DEEPINFER_ZERO_OVERHEAD_SCHEDULING，README 里说默认打开。再细一层是 DeferredRelease：这一轮先把待释放的资源 collect 出来，下一轮 pre_sampler_sync 再 release。Python 层的回收通常是阻塞的，往后挪一步就叠进了 GPU 计算，不会在每步之间卡出尖峰。
![fig2-pipeline.png](https://developer.qcloudimg.com/http-save/yehe-1416240/8734d25c74bd23e93d2d8410e822388f.png)
SWA 换个方向省 prefill：decoder 只重放最近 140 个 token 重建状态，不重算全量。保留的这段要盖住窗口大小加最大回退长度，源码注释里写明了，别随手调。

**3. EPLB：把负载均衡和模型前向解耦**

MoE 的专家负载天然不均。EPLB 的 policy.py 拆成两步：先按历史 token 负载判断哪个专家热，决定冗余副本的数量，再贪心把物理专家铺到各卡。出了问题能单独看，调参不用碰 forward。
![fig5-eplb.png](https://developer.qcloudimg.com/http-save/yehe-1416240/18cff9b13444e80fc9944a5b361a901d.png)
**4. 动态投机解码**

草稿模型一次给 K 个候选，目标模型一次前向验证，取最长匹配前缀，再按接受率回写 K。固定步长在高并发下经常白算，候选质量好时又不敢多给。README 的 benchmark 里接受率 75%、固定步长 3，一次前向平均出 3.25 个 token，这已经摸到固定 K 的天花板。
![fig6-spec.png](https://developer.qcloudimg.com/http-save/yehe-1416240/c10a444a388aa07157a2ea165deb7c35.png)
**这四条设计值多少钱，README 给了两条曲线**

Prefill：4 张 SM100，EP4DP4，384+32 个专家，131k 上下文。batch 给到 65,536 个 token，单卡非缓存输入吞吐 89,000 token/s，一步 730ms；batch 退回 4,096，吞吐掉到 60,000，一步 67ms。大 batch 让吞吐涨了五成，代价是每步多等十倍。

Decode：64 张卡，EP64DP64，384+64 个专家。每个 DP rank 挂 256 个请求，单卡 26,000 token/s，每个用户只剩 108 token/s；降到 8 个请求，每用户 320 token/s，单卡掉到 2,400。三十二倍的并发换十倍吞吐，单用户慢三倍。

这两条曲线就是上面四条设计的成绩单：prefill 靠大 batch 摊平固定开销，decode 靠投机解码把每步产出从 1 个 token 变成 3.25 个。不接受这个交换的业务，数字会差一大截。

## 二、行业局势与生态影响

以前比谁的模型更聪明，现在比谁的推理更省。
![fig7-platform.png](https://developer.qcloudimg.com/http-save/yehe-1416240/32bba1efda2b9cf147d8f9d13bd4ec6f.png)
**1. 进一步压缩「纯套壳 / 粗暴私有部署」的溢价空间**

降本靠算力和调度，两条曲线就是证据。更狠的是 README 直接给了复现脚本 examples/sweep/run_sweep.sh，谁都能在自己集群上跑一遍对照。

这一手抢不走多少部署的活，只支持一个模型，也没有在线服务层。但它划了一条线：同一个模型、同样的硬件，别人做出来该是什么水平。以后客户问价，心里有了参照，只靠「我帮你私有化部署」收溢价的空间会变薄。

**2. 芯片生态的脱敏，但要打折看**

厂商此前被绑在 NVIDIA 上，CUDA 和 TensorRT-LLM 没有替代品。DeepInfer 把昇腾 950 做到和 SM100 同等的目录结构，「向上抽象、向下兼容」确实降低了迁移门槛。

昇腾那条路能不能打，得看算子覆盖和实测；Batch-invariant 和确定性采样目前只有 NVIDIA（要设 DEEPINFER_BATCH_INVARIANT=1），一致性承诺还没做到两边一样。纸面并行和实际好用之间，通常隔着几个季度。

## 三、对架构师职业路径的影响
![fig3-chain.png](https://developer.qcloudimg.com/http-save/yehe-1416240/9d47ea0d392cc132a6c234cf8892b98c.png)
**1. 技能重心从算法到工程**

只会 PyTorch / Transformers 那套 API 不够用了。内存带宽瓶颈、跨节点通信时延（DeepEP 这块）、计算和通信怎么叠起来，这些会变成硬门槛。得能读懂 profiler 里的时间花在哪，不然调优就是猜。

**2. 系统设计从单点优化到全栈协同**

翻源码会发现，DeepInfer 的性能没法脱离 FlashMLA 和 DeepEP 单独讲：存储层（3FS）怎么喂数据，算子层（FlashMLA / DeepGEMM）怎么榨干硬件，调度层怎么把请求排成流水线。只懂调参、或者只懂传统 Web 高并发的架构师，得往软硬件协同设计转。

**3. 架构选型从造轮子到精准解耦吸收**

以前 vLLM 或 TGI 一套到底，现在大集群、超高并发、长上下文、MoE 这几类场景有了更具体的参照。架构师该做的是看清自家业务的请求分布、长短文本比例、手里的硬件，把别人的设计拆开，挑能用的拿走。

## 感悟一下

模型权重决定能力上限，工程架构决定落地成本和商业化下限。这话以前像口号，现在能指着代码和曲线看哪一段在省钱,这是 DeepSeek 技术栈的又一次炸街（当然还有对M国封杀的一种强有力的方式），我们拭目以待！！！

DeepSeek 再次开源了线上生产环境的核心推理引擎 DeepInfer。Apache-2.0，21K Star，4个commit，整体给的很实在：batch scheduler、KV cache、分片、采样、结构化输出都有。 这几天抽空读了一下工程源码，有两处要注意一下 ：

从架构师视角浅读DeepInfer工程源码

DeepInfer 开源其核心价值在于剥离控制面（网关/路由），将数据面（调度/算子/存储）做到极致：通过零开销调度与延迟释放抹平 CPU/GPU 气泡，统一 OPS 接口解耦 NVIDIA 与昇腾生态，结合 EPLB 与自适应投机解码重构吞吐瓶颈。作为技术人员，我们该如何去看待？

技术专家

人工智能

DeepSeek开源生产级推理引擎DeepInfer，Apache-2.0协议，两万星。核心亮点：异构支持NVIDIA/昇腾，异步调度，EPLB负载均衡，动态投机解码。README展示Prefill单卡89K token/s，Decode 26K token/s。仅支持V4.1-Flash，无HTTP服务，定位参考实现。KVcache、分离部署等关键降本技术未开源，但为行业设定了性能基准。

负载均衡

文件系统

DeepSeek

Python

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

DeepSeek开源生产级推理引擎DeepInfer，Apache-2.0协议，两万星。核心亮点：异构支持NVIDIA/昇腾，异步调度，EPLB负载均衡，动态投机解码。README展示Prefill单卡89K token/s，Decode 26K token/s。仅支持V4.1-Flash，无HTTP服务，定位参考实现...

从架构师视角浅读DeepInfer工程源码-腾讯云开发者社区-腾讯云

从架构师视角浅读DeepInfer工程源码

从架构师视角浅读DeepInfer工程源码

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐