# SFT,PPO,DPO,KTO 都是啥？LoRA 是啥？PEFT 又是啥？

## 一、PEFT 高效参数微调

先说 PEFT。
PEFT (Parameter-Efficient Fine-Tuning) 是一种【实现技术】。
它定义了**你改动了多少参数**：

- **全量微调 (Full Fine-Tuning)**：如果你在做 SFT 时，更新了模型 **100%** 的参数，那它就**不是**高效参数微调。这需要巨大的显存（通常是模型参数量的 4 倍以上）。
    
- **高效微调 (PEFT)**：如果你在做 SFT 时，使用了 **LoRA、Adapter、Prefix-Tuning** 等技术，只更新了不到 **1%** 的参数，那么它**就是**高效参数微调。

## 二、LoRA 大语言模型的低秩自适应

**LoRA** 的全称是 **Low-Rank Adaptation of Large Language Models**（大语言模型的低秩自适应）。

它是目前最主流的**高效参数微调（PEFT, Parameter-Efficient Fine-Tuning）**技术。其核心思想非常巧妙：在微调时，不直接修改预训练模型原本庞大的参数矩阵（这些矩阵被“冻结”），而是在旁边外挂两个较小的低秩矩阵（$A$ 和 $B$）。

- **原理公式**：$W = W_0 + \Delta W = W_0 + BA$
    
    - $W_0$：原始权重（冻结，不更新）。
        
    - $B$ 和 $A$：新增的低秩矩阵（极小，参与训练）。
        
- **直观理解**：就像在给一辆重型坦克（大模型）加装一个轻便的转向助力系统，你不需要重塑整台坦克的装甲，只需要调整这个小巧的助力装置，就能改变坦克的行驶方向。

## 三、SFT 算是高效参数微调吗？

**不一定，SFT 指的是“训练阶段”，而 PEFT（高效参数微调）指的是“训练方法”。**

这两个概念属于不同的维度：

SFT (Supervised Fine-Tuning) 是一种【训练范式】

它定义了**你怎么练**：使用有监督的标签数据 $\{指令, 回答\}$，通过交叉熵损失函数来训练模型。完全可以使用全量 SFT。

|**维度**|**全量 SFT (Full SFT)**|**LoRA SFT (PEFT)**|
|---|---|---|
|**训练参数量**|100%|通常 < 1%|
|**显存需求**|极高（需多卡/高性能集群）|低（单张消费级显卡即可）|
|**存储成本**|每个任务都要保存完整的模型|仅需保存几十 MB 的 Adapter 权重|
|**训练效果**|理论上限最高，容易学透深层知识|效果非常接近全量微调，且更不容易过拟合|

## 四、损失函数对比

### 1. SFT (Supervised Fine-Tuning) 有监督微调

SFT 是模型训练的“第一步”。它的目的是让一个只会“续写”的预训练模型学会“听懂指令”并以人类的格式回答。

- **数据形式**：大量的 $\{指令, 标准答案\}$ 对。
    
- **核心逻辑**：通过**最大似然估计（MLE）**，让模型强行记忆并模仿人类给出的正确答案。
    
- **特点**：
    
    - **学习“好”的样板**：模型只知道什么是对的，但不知道什么是错的。
        
    - **局限性**：由于它只学习单一的正确答案，模型往往缺乏灵活性，且容易产生幻觉（因为它是被动模仿而非逻辑推理）。

SFT 使用的是传统的**交叉熵损失（Cross-Entropy Loss）**。它的目标是最大化给定指令 $x$ 后，预测出标准答案 $y$ 的概率。

$$L_{SFT} = - \sum_{t=1}^{T} \log P(y_t | x, y_{<t})$$

- **逻辑**：这是一种“填空式”的学习。模型在每个 token 位置上，计算预测值与真实值之间的差距。
    
- **直观理解**：它只看正确答案，强迫模型的输出分布尽可能接近人类提供的模范样本。
    

---

### 2. DPO (Direct Preference Optimization) 直接偏好优化

DPO 是一种不需要复杂的奖励模型（Reward Model）就能实现人类价值观对齐的技术，目前是 RLHF（强化学习人类反馈）的主流替代方案。

- **数据形式**：$\{指令, 好的回答 (Chosen), 坏的回答 (Rejected)\}$。
    
- **核心逻辑**：DPO 将策略模型本身作为一个隐式的奖励模型。通过对比一对答案，它直接增加 $Chosen$ 的概率，同时降低 $Rejected$ 的概率。
    
- **特点**：
    
    - **二元对比**：模型通过“好”与“坏”的界限来划定边界，比 SFT 更能理解人类的偏好。
        
    - **稳定性高**：不需要像传统的 PPO 算法那样训练专门的奖励模型，计算成本低。

DPO 摆脱了传统的强化学习框架，直接通过对比“好”与“坏”的概率对来定义 Loss。

$$L_{DPO} = -\mathbb{E}_{(x, y_w, y_l) \sim D} \left[ \ln \sigma \left( \beta \ln \frac{\pi_\theta(y_w | x)}{\pi_{ref}(y_w | x)} - \beta \ln \frac{\pi_\theta(y_l | x)}{\pi_{ref}(y_l | x)} \right) \right]$$

- **变量说明**：
    
    - $y_w$ (Winner/Chosen)：人类偏好的回答。
        
    - $y_l$ (Loser/Rejected)：人类不喜欢的回答。
        
    - $\pi_\theta$：当前正在训练的模型。
        
    - $\pi_{ref}$：冻结的参考模型（通常是 SFT 后的模型）。
        
    - $\beta$：超参数，控制偏好程度。
        
- **逻辑**：它计算当前模型相对于参考模型在 $y_w$ 上增加的对数概率，减去在 $y_l$ 上增加的对数概率。
    
- **直观理解**：它在做**拉力赛**——把好答案的概率往上拉，把坏答案的概率往下拉。
    

---

### 3. KTO (Kahneman-Tversky Optimization) 展望理论优化

KTO 是由 Contextual AI 提出的一种更前卫的对齐方法，其理论基础是诺贝尔奖得主卡尼曼的**展望理论（Prospect Theory）**。

- **数据形式**：$\{指令, 回答, 标签 (好/坏)\}$。
    
- **核心逻辑**：KTO 不再需要成对的数据（即不需要同一个指令对应一好一坏两个答案）。它根据模型当前的预期，给“好”结果以奖励，给“坏”结果以惩罚，并模拟人类对损失的敏感度高于收益的心理。
    
- **特点**：
    
    - **数据获取更容易**：现实中收集“这个回答很好”或“这个回答很烂”的单条反馈，比收集“回答 A 比回答 B 好”的成对反馈要容易得多。
        
    - **非对称性**：它考虑了人类在面对损失时比面对收益时更痛苦的心理，从而能更精细地调整模型行为。



对于**正面样本**（$y$ 是好的）：

$$L_{KTO, +} = 1 - \sigma \left( \beta \left( \ln \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} - z_{ref} \right) \right)$$

对于**负面样本**（$y$ 是坏的）：

$$L_{KTO, -} = 1 - \sigma \left( \beta \left( z_{ref} - \ln \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} \right) \right)$$

- **关键点 $z_{ref}$**：这是一个动态更新的奖励期望值（KL 散度的移动平均），代表了模型当前表现的“基准线”。
    
- **非对称性**：KTO 通常会给负面样本（损失）分配更高的权重 $\lambda_{new}$，因为人类对亏损的厌恶程度高于对收益的喜爱。
    
- **直观理解**：它在做**奖惩制**——如果表现超过了预期（基准线），给予奖励；如果低于预期，给予更重的惩罚。



### 4. PPO (Proximal Policy Optimization）近端策略优化

传统的 PPO 训练极其繁琐，因为它需要同时维护四个模型：

1. **Actor Model（演员模型）**：正在训练的目标 LLM，负责生成回答。
    
2. **Reference Model（参考模型）**：冻结的 SFT 模型，用来约束 Actor 不要跑偏（KL 散度约束）。
    
3. **Reward Model（奖励模型）**：模仿人类评分员的小模型，给 Actor 的回答打分。
    
4. **Critic Model（评论家模型）**：预测 Actor 能拿多少分，用来稳定训练过程。

PPO 的 Loss 非常复杂，它由三部分组成：**策略损失（Clip Loss）**、**价值损失（Value Loss）** 和 **熵正则项（Entropy）**。

最核心的是 **Clipped Surrogate Objective（截断代理目标）**：

$$L_{CLIP} = \hat{\mathbb{E}}_t \left[ \min(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t) \right]$$

- **$r_t(\theta)$**：新旧策略的概率比。
    
- **$\hat{A}_t$**：优势函数（即回答比预期好多少）。
    
- **$\text{clip}$**：核心操作。它限制了模型更新的幅度（通常是 $0.2$），防止模型为了拿高分而突然说出一些极其离谱但奖励模型喜欢的“投机取巧”话（即 Reward Hacking）。

## 五、怎么选择对齐偏好的方法？

为什么现在大家都在用 DPO/KTO，而不是 PPO？

1. **资源消耗**：PPO 至少需要双倍甚至四倍于 DPO 的显存。
    
2. **训练难度**：PPO 涉及 10 多个超参数调优，小样本下非常容易学废。
    
3. **流程冗长**：你得先训个奖励模型，再跑 PPO。而 DPO 是一步到位的。

| **特性**    | **PPO (传统 RLHF)**        | **DPO (直接偏好)**             | **KTO (前景理论)**     |
| --------- | ------------------------ | -------------------------- | ------------------ |
| **复杂度**   | **极高**。需要起 4 个模型，显存占用极大。 | **低**。只需目标模型和参考模型。         | **低**。只需目标模型和参考模型。 |
| **训练稳定性** | 极差。超参数极多，很容易训练崩掉。        | 很好。本质是分类任务，收敛快。            | 很好。对噪声数据更鲁棒。       |
| **数据需求**  | 需要训练专门的奖励模型（打分数据）。       | 需要成对数据（$Chosen/Rejected$）。 | 只需要单条正/负标签。        |
| **性能上限**  | 理论上限最高，适合超大规模对齐。         | 极强，目前中小型模型的主流选择。           | 极强，适合单标签或非对称反馈。    |

## 六、总结：

- **SFT**：教模型说话的基本礼仪（银行术语和分类格式）。
    
- **PPO/DPO/KTO**：教模型说话的“三观”（什么叫好回复，什么叫错分类）。
    

**目前的行业趋势**：

- **大规模（千亿级）**：仍有团队坚持 PPO，因为它能更精细地压榨模型潜力。
    
- **垂直领域/中小型（百亿级以下）**：**SFT + DPO** 是标准流程；如果数据没法配对，就选 **SFT + KTO**。

先说 PEFT。PEFT (Parameter-Efficient Fine-Tuning) 是一种【实现技术】。它定义了你改动了多少参数：

SFT,PPO,DPO,KTO 都是啥？LoRA 是啥？PEFT 又是啥？

人工智能

后端

算法

本文深入解析SFT、PPO、DPO、KTO等大模型微调技术，重点介绍LoRA和PEFT高效参数微调方法。对比分析SFT监督微调、DPO直接偏好优化、KTO展望理论优化及PPO近端策略优化的核心原理、数据形式及适用场景，帮助开发者选择最适合的模型对齐方法。特别强调当前行业趋势：大规模模型仍用PPO，中小型模型推荐SFT+DPO/KTO组合。

强化学习

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

本文深入解析SFT、PPO、DPO、KTO等大模型微调技术，重点介绍LoRA和PEFT高效参数微调方法。对比分析SFT监督微调、DPO直接偏好优化、KTO展望理论优化及PPO近端策略优化的核心原理、数据形式及适用场景，帮助开发者选择最适合的模型对齐方法。特别强调当前行业趋势：大规模模型仍用PPO，中小型模型推荐SFT+...

SFT,PPO,DPO,KTO 都是啥？LoRA 是啥？PEFT 又是啥？-腾讯云开发者社区-腾讯云

SFT,PPO,DPO,KTO 都是啥？LoRA 是啥？PEFT 又是啥？

SFT,PPO,DPO,KTO 都是啥？LoRA 是啥？PEFT 又是啥？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐