DeepSeek-R1的创新与局限

前言

在《DeepSeek火爆出圈：使用方法及接入API全解析》中有用户说感觉自己刚学习的提示词技巧都没用，在我看来不是的DeepSeek-R1并不是适用于所有场景，最佳的使用方式应该是在合适的场景使用合适的模型，推理模型和通用模型都有自己的优缺点。

DeepSeek官方发布一篇论文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》它提出了DeepSeek-R1系列模型，通过大规模强化学习和多阶段训练来提高LLMs的推理能力和模型不足的地方。

训练方式

DeepSeek-R1是如何训练？分为以下三步：

1. DeepSeek-R1-Zero：该模型直接对基础模型进行强化学习训练，不依赖任何监督微调数据。采用Group Relative Policy Optimization（GRPO）算法进行优化。

零基础强化学习版 这个模型就像完全靠"自学"成才的学生。它直接从基础模型出发，用强化学习训练推理能力，完全不用人类提前教它标准答案。

1. DeepSeek-R1：该模型在DeepSeek-R1-Zero的基础上，引入冷启动数据和多阶段训练管道。首先，收集数千条冷启动数据进行初始微调，然后进行以推理为导向的强化学习训练，最后通过拒绝采样和SFT生成新的SFT数据，再次进行RL训练。

DeepSeek-R1（加强版） 在Zero基础上做了升级，分三步走：

• 先用几千条高质量例题"预习"（冷启动数据）
• 接着用强化学习重点练推理
• 最后用自己生成的优质答案再次训练 这样既保持了解题能力，又让回答更通顺易懂

1. 蒸馏：从DeepSeek-R1中蒸馏推理能力到更小的密集模型。使用Qwen2.5和Llama系列模型作为基础模型，通过简单的SFT蒸馏方法显著提升推理性能。

把大模型的"解题技巧"教给小模型，就像学霸把笔记传给学弟。用Qwen和Llama系列小模型做实验，发现这种方法能让小模型推理能力突飞猛进

优点

1. 纯强化学习的突破：DeepSeek-R1-Zero是第一个通过纯强化学习（RL）而不依赖监督微调（SFT）来提升语言模型推理能力的模型，标志着在这一领域迈出了重要一步。

首次证明不用标准答案数据，单靠强化学习就能大幅提升推理能力。

1. 多阶段训练管道：DeepSeek-R1引入了一个包含两个RL阶段和两个SFT阶段的多阶段训练管道，旨在发现改进的推理模式并符合人类偏好。

像运动员集训一样分阶段训练：先预习→强化练题→自我纠错→综合提升。这种训练模式让模型既会解题又会规范表达

1. 冷启动数据的利用：通过引入冷启动数据，DeepSeek-R1在接近RL收敛时，通过拒绝采样生成SFT数据，并结合DeepSeek-V3的监督数据进行再训练，显著提升了推理性能。

用少量高质量例题"激活"模型潜力，就像给AI看学霸的解题步骤。后续配合自我生成的优质数据，形成良性循环

1. 知识蒸馏：展示了从DeepSeek-R1到更小密集模型的推理能力蒸馏，结果表明蒸馏后的模型在基准测试中表现优异，特别是14B模型在多个推理基准上超越了现有的开源模型。

通过知识蒸馏，14B参数的小模型在多项测试中超过很多大模型，证明"会教比会学更重要"

1. 广泛的任务评估：在多个基准测试中进行了评估，包括MMLU、DROP、GPQA Diamond、SimpleQA等，展示了DeepSeek-R1在不同任务上的强大推理能力。

在数学、编程、常识问答等18个测试中表现优异

不足

1. 能力不足：DeepSeek-R1在函数调用、多轮对话、复杂角色扮演和JSON输出等任务上的能力仍然不如DeepSeek-V3。

复杂任务如写代码、角色扮演不如前代模型DeepSeek-V3

1. 语言混合问题：目前DeepSeek-R1主要优化了中文和英文，处理其他语言的查询时可能会出现语言混合问题。

处理小语种时容易出错

1. 提示工程敏感性：DeepSeek-R1对提示非常敏感，少量提示会显著降低其性能，建议用户直接描述问题并使用零样本设置以获得最佳结果。

对提问方式敏感，建议直接问问题别绕弯子

1. 软件工程任务的挑战：由于评估时间长，影响了RL过程的效率，DeepSeek-R1在软件工程任务上没有显示出显著的改进。

软件工程类任务训练效率低