- 综合排序
- 最热优先
- 最新优先
【大模型微调】一文掌握5种大模型微调的方法
（Prompt Tuning）在内的5种主流方法。 我们所讨论的5种微调方法，本质上都是对这个基础架构中自注意力机制与前馈神经网络等核心组件的参数进行优化的不同策略。 本文将重点介绍五种具有代表性的微调方法，它们共同勾勒出从传统到前沿的技术演进脉络。 5、提示调整-轻量级的参数优化提示调整（Prompt Tuning）是一种“润物细无声”的微调，不改变模型自身，而是通过优化输入提示词的嵌入表示来引导模型输出。 通过五种主流方法，我们看到了从全参数微调到参数高效微调的清晰技术演进路径，每种方法都在效率与效果之间提供了不同的平衡点。
2.6K40编辑于 2025-10-23- 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 理解 P-tuning v2 微调方法，首先需要了解 prefix-tuning 微调方法和 P-tuning v1 微调方法。 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 5.关键知识点总结 SFT监督微调时监督微调时，学习率通常会设置得很小 常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可
9.8K66编辑于 2023-10-11 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 3.3 P-tuning v2 微调方法优点 P-tuning v2 微调方法解决了 P-tuning v1 方法的缺陷，是一种参数高效的大语言模型微调方法。 5.关键知识点总结 SFT监督微调时监督微调时，学习率通常会设置得很小 常见误区：1.监督微调需要大量的训练时间和数据 2.监督微调将复制源模型的所有参数至目标模型 3.监督微调只需要几十条监督数据即可
24.7K07编辑于 2023-07-16 - 来自专栏腾讯技术工程官方号的专栏
大模型微调方法总结
目前该技术已经广泛应用于大模型的微调，如 Alpaca，stable diffusion+LoRA，而且能和其它参数高效微调方法有效结合，例如 State-of-the-art Parameter-Efficient Adapter 方法不需要微调预训练模型的全部参数，通过引入少量针对特定任务的参数，来存储有关该任务的知识，降低对模型微调的算力要求。 作者对全模型微调(Full)、Adapter、AdapterFusion 三种方法在各个数据集上进行和对比试验。 AdapterFusion 在大多数情况下性能优于全模型微调和 Adapter，特别在 MRPC(相似性和释义任务数据集)与 RTE(识别文本蕴含数据集)中性能显著优于另外两种方法。 [prompt tokens][mask]后效果会更好； p-tuning 的效果很好，之前的 Prompt 模型都是主打小样本效果，而 P-tuning 终于在整个数据集上超越了精调的效果： 5、prompt-tuning
2.8K42编辑于 2023-07-26 - 来自专栏自然语言处理(NLP)论文速递
北航&北大 | 提出统一微调框架，整合前沿微调方法，可支持100多种LLMs的微调！
为了能够实现对大模型的高效微调，本文作者提出了一个统一的大模型微调框架：LLAMAFACTORY，该框架整合了一系列前沿的高效微调方法，支持对100多种大模型的微调。 LLAMAFACTORY微调方法 LLAMAFACTORY框架中的高效微调技术（Efficient Fine-Tuning Techniques）主要分为两大类：优化方法和计算方法。 优化方法 「冻结微调（Freeze-tuning）」：这种方法涉及冻结大部分参数，同时在解码器的一小部分层中进行微调。这样可以在保持模型大部分结构不变的情况下，仅对关键部分进行更新。 它通过集成最新的高效微调技术，提供了一种独立于具体训练任务的微调方法，并且能够通过DeepSpeed进一步降低内存消耗。 这突出了这些高效微调方法在适应特定任务方面的有效性。
1.1K11编辑于 2024-03-26 - 来自专栏AI进修生
微调LLMs：概述、方法和最佳实践（附天工Skywork-13B微调）
增强推理能力 微调不仅可以增强模型的词语关联能力，还能教会模型更多推理技巧和方法，使其在处理复杂问题时进行更深入的逻辑分析和推理。 主要微调方法 微调方法可以分为全量微调和参数高效微调。 参数高效微调技术分类 • 增加式方法 • 选择式方法 • 重新参数化方法 1. 微调技术总览 全量微调 (Full Fine Tuning, FFT) 在全量微调中，模型的所有参数都会进行重新训练。 5. 任务特定微调 针对单一任务进行优化。 • 类比： 心脏外科医生在手术中的精准表现。 5. 参数高效微调 (PEFT) 最小化训练参数数量，提高特定任务性能。 • 类比： 在建筑物上增加模块功能。 3. 参数高效微调技术分类 增加式方法 在模型中增加额外参数或层，且仅训练这些部分。 • 改进模型：根据评估结果，细化微调参数和模型架构，形成优化模型。 5. 模型迭代 • 调整参数：根据评估结果调整学习率、批量大小或层冻结程度，增强模型有效性。
78010编辑于 2024-12-02 - 来自专栏深度学习自然语言处理
每日论文速递 | 当缩放遇到LLM微调:数据、模型和微调方法的影响
，但我们对不同微调方法的归纳偏差（特别是缩放属性）的理解仍然有限。 微调方法的选择：论文希望揭示微调方法的选择对于下游任务的影响，以及如何根据任务和数据来选择最优的微调方法。 关键微调数据规模的估计：使用拟合的缩放定律来估计在不同任务和模型大小下，不同微调方法之间的性能差异达到显著水平所需的微调数据规模。 Q5: 有什么可以进一步探索的点？ 然而，对于不同微调方法的归纳偏差，尤其是缩放属性，目前的理解还很有限。 微调的最优方法高度依赖于任务和微调数据，使得为下游任务选择最佳微调方法变得复杂。 LLM基于微调的方法能够鼓励零样本泛化到相关任务，且PET表现优于FMT。
90410编辑于 2024-03-02 - 来自专栏AI
微调
），我们会看到最佳结果我们的提示工程指南提供了一些最有效的策略和方法的背景，可以在不进行微调的情况下获得更好的性能。 此外，早期构建测试集将有助于确保您能够在训练后评估模型，方法是在测试集上生成样本。令牌限制令牌限制取决于您选择的模型。 train_accuracy,valid_loss,valid_mean_token_accuracy1,1.52347,0.0,,2,0.57719,0.0,,3,3.63525,0.0,,4,1.72257,0.0,,5,1.52379,0.0 在数据质量上进行迭代如果微调作业的结果不如您预期的那样好，请考虑以下调整训练数据集的方法：收集示例以解决剩余问题如果模型在某些方面仍然表现不佳，请添加直接展示模型如何正确执行这些方面的训练示例仔细检查现有示例是否存在问题如果您的模型存在语法 我会为您安排这次会议”（当它不应该这样做时），请查看现有示例是否教会了模型说它可以做新事情，而实际上它不能做考虑数据的平衡性和多样性如果数据中有60%的助手回复说“我无法回答这个问题”，但在推断时只有5%
61410编辑于 2024-04-20 - 来自专栏人工智能
5 分钟搞懂 LLM 微调：从原理到实战
一、什么是微调微调（Fine-tuning）是指在一个已经预训练好的大语言模型基础上，用特定领域或任务的数据继续训练，让模型更好地适应具体需求。 打个比方，预训练模型像是一个读过海量书籍的通才，而微调就是让这个通才去某个专业领域进修，变成该领域的专家。二、为什么需要微调预训练模型虽然知识面广，但在具体场景下往往不够精准。 微调可以让模型学会这些特定的模式和知识，同时成本远低于从头训练一个模型。三、主流微调方法全参数微调（FullFine-tuning）：对模型所有参数进行更新。 显存需求大幅降低，训练速度快，是目前最流行的方法之一。QLoRA：在LoRA基础上结合量化技术，把原模型用4-bit量化存储，进一步降低显存占用，让普通消费级显卡也能微调大模型。 、微调vs其他技术的对比与RAG（检索增强生成）对比RAG是让模型在回答时检索外部知识库，不改变模型本身；微调是改变模型参数。
16010编辑于 2026-02-12 - 来自专栏云云众生s
微调还是提示工程才是AI的正确方法？
让我们探讨这两种方法之间的差异，从早期采用者那里学习，并概述大规模微调的基础设施要求。 当与检索增强生成 (RAG)（它集成了外部知识库）结合使用时，这种方法可以动态地丰富模型输出，使其成为一种经济高效且适应性强的解决方案。 这就是微调的优势所在。 微调：解锁模型定制 微调涉及使用特定领域的数据集重新训练基础模型，并调整模型的权重，以更好地适应独特的工作流程。 为什么微调越来越受欢迎 随着企业意识到通过为特定需求定制 AI 模型来交付更好结果的潜力，微调正变得越来越流行。这不仅仅是访问 GPU — 而是通过使微调更容易的新工具，充分利用专有数据。 第 4 步：微调和模型开发 设置好基础设施后，AI 团队可以专注于真正的工作：微调和构建模型。
37010编辑于 2025-02-12 - 来自专栏深度学习与python
谷歌开源 AI 微调方法： Distilling Step-by-Step
逐步蒸馏的关键思想是使用 LLM 自动生成一个小型微调数据集，其中的数据有一个输入和一个输出标签，以及选择这个输出标签的“理由”。微调过程会训练这个小模型来预测输出标签并生成对应的理由。 在 NLP 基准上评估时，小型微调模型的性能优于 540B PaLM 模型，同时仅需要这个基准测试的全部微调数据的 80%。 要做出在特定任务上表现良好的小模型的一种方法，是使用针对具体任务收集的数据集来微调小规模语言模型。虽然这个数据集可能相对较小（大约有数千个示例），但其数据收集起来可能还是费时费钱。 这个较小的目标模型经过微调来执行两项任务：回答原始问题并生成理由。 谷歌使用四个 NLP 基准测试评估了他们的技术，每个基准都包含一个微调数据集。 他们使用逐步蒸馏来修正这些数据集，并使用了参数不到 1B 的微调 T5 模型。
49821编辑于 2023-11-09 - 来自专栏AI工程
用mT5模型微调中文分类任务示例
用mT5模型微调中文分类任务示例 mT5模型是T5模型在多语言数据集C4上的继续训练，T5本身是比较早了，是2019年的一个模型，但是后来又有很多次不同的升级。 ，各种如何调整prompt的方法，可以参考这篇论文综述： Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods 最开始，这些prompt就是一些特殊的句子，比如说我们给gpt3的提示是：“1+1=2；2+2=4；4+5=9；5+6=”这样的提示，让模型继续生成，希望能输出5+6的正确答案。 当然我们可以人工设计去一点一点尝试，或者干脆穷举，当然也有很多基于不同方法的测试，可以参考上面提到的综述论文。 , T5Tokenizer model = MT5ForConditionalGeneration.from_pretrained("google/mt5-base") tokenizer = T5Tokenizer.from_pretrained
3.3K20编辑于 2022-03-30 - 来自专栏自然语言处理(NLP)论文速递
深入了解 大语言模型（LLM）微调方法（总结）
其中主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。 在提示工程、微调和评估之间进行迭代，直到达到期望的结果。 「5、模型部署」：当模型表现符合预期时，进行部署。在这个阶段，优化计算效率和用户体验。 微调方法 LLM微调是一个有监督学习过程，主要使用标注数据集来更新LLM的权重，并使模型提高其特定任务的能力。接下来将为大家介绍一些值得注意的微调方法。 训练过程中，通过多个周期的损失计算来更新模型权重，最终得到一个擅长多种任务的微调模型。但多任务微调模型需要大量数据，可能需要5万到10万个示例。 「5、顺序微调」：顺序微调是将预训练模型按顺序适应多个相关任务。在初步迁移到一般领域后，LLM可能针对更具体的子集进行微调，例如从通用语言到医学语言，再到儿科心脏病学。
10.3K21编辑于 2024-02-23 - 来自专栏自然语言处理(NLP)论文速递
澳门大学 | 提出神经元级高效微调方法：NeFT，秒杀LoRA，性能超全参微调（FPFT）！
为此，本文作者提出了一种神经元级高效微调方法：NeFT，它将参数训练粒度细化到单个神经元级别，性能上超过了全参数微调（FPFT）和高效参数微调（PEFT），开辟了大模型微调新方向。 然而，随着研究的深入，人们逐渐引入了参数高效微调（PEFT），例如：LoRA系列微调算法，该类方法主要基于层级模块化进行参数选择，旨在减少模型训练中的训练参数。 与以上方法不同，本文作者基于对模型可解释研究的理解，提出了神经元级别的模型微调方法：NeFT，该方法可以识别出模型中较为敏感的神经元，然后再对相关参数进行更新来提高模型性能。 然而，这种经验性的选择和逐层搜索非常耗时，而最近的进展集中在利用外部模块来更新所有层级参数，其中主要代表方法有适配器（Adapter）、LoRA、稀疏微调（Sparse Fine-Tuning）等方法。 提出了Neuron-Level Fine-Tuning (NeFT) 新型微调方法，如下图所示： NeFT主要分为「三个步骤」，其中包括模型准备、神经元选择、神经元微调。
75410编辑于 2024-04-12 XTuner 微调
快速开始 这里我们用 internlm2_5-20b-chat 模型，通过 QLoRA 的方式来微调一个自己的小助手认知作为案例来进行演示。 xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。 对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。 增量预训练微调 定义一些基本方法。 tree -l 准备配置文件 在准备好了模型和数据集后，我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了，从而减少我们对配置文件的修改量。
41510编辑于 2024-10-10- 来自专栏对白的算法屋
当我在微调的时候我在微调什么？
微调效果到底好不好，微调之后的词向量表示是否有效，可以直接用针对下游任务的分类器的准确度来衡量。只有微调效果足够好时，分类效果才够准。 DIRECTPROBE 基于聚类的探针。 通过比较微调前后不同簇之间的距离，可以量化微调之后的词向量表示的变化。 除了BERT base版训练5个epochs之外，其余规模的BERT均训练10个epochs。分类器探针接到BERT输出层，跟着BERT一起微调。 使用原始train对BERT~small~进行微调，微调前后均只使用subtrain训练分类器。分类器的训练不参与微调。 如下图所示，微调前分类器在subtest和test上的学习曲线一致。 另外，除了实验结论外，本文实验方法和可视化分析也非常值得学习~ 你好，我是对白，硕士毕业于清华，现大厂算法工程师，拿过八家大厂的SSP级以上offer。 高中荣获全国数学和化学竞赛二等奖。
2.1K10编辑于 2022-04-01 - 来自专栏AI理论与前沿
对于大模型，到底微调还是不微调？
表 1：在 Llama 2 7B 上使用不同微调方法（[来源](https://github.com/pytorch/torchtune? 我们提供三个示例：微调 LLM 以更好地使用或忽略来自检索器的上下文微调 LLM 评审模型来评估其他 LLM 的指标，如扎根性、合规性或有用性微调 LLM 来增加上下文窗口2 微调与其他领域适应技术的比较 然而，我们认为这种范式过于简化，因为在多个场景下，RAG 不仅不是微调的替代方案，反而更多的是微调的补充方法。根据问题的特性，可能需要尝试一种或两种方法。 对于这些类型的需求，微调通常是正确的方法。你的应用程序对幻觉有多宽容？在压制虚假信息和想象性编造至关重要的应用中，RAG 系统提供了内置的机制来最小化幻觉。有多少标注的训练数据可用？ 如果问题需要访问动态的数据语料库，微调可能不是正确的方法，因为 LLM 的知识可能很快变得过时。LLM 应用程序需要多大的透明性/可解释性？
84900编辑于 2024-09-17 - 来自专栏集智书童
Mini but Mighty | 简直就是微调ViT神器，有了Mimi微调方法，别的不用选了！又稳又快！
最常用的学习新任务的方法是完全或部分地微调预训练网络；然而，在处理多个任务时，这种方法需要训练多个单独的模型，这导致了大量的存储成本。 作者的方法通过主要将额外的参数分配给确实需要适应新任务的层，促进了有效的参数分配（图5）。 作者包括了以下方法： 全量微调：微调模型的所有参数。 值得注意的是，我们观察到后一种方法从模型中完全删除了某些Adapter（在VGG Flowers的第4、5、7和8层中很明显），同时将大量参数重新分配给其他Adapter。 这种效率归因于作者的方法在推理过程中完全移除某些Adapter的 ability，有效降低了计算成本。 5 MiMi设计的示例 在本节中，作者将介绍MiMi设计的关键要素。
1.3K10编辑于 2024-01-10 - 来自专栏蓝天
Ubuntu系统微调
本章讲述了基本的基于命令行界面的系统配置方法。在学习本章前，你需要先阅读 Ubuntu 系统安装提示, 第 3 章. 自定义 init 脚本 最简单的控制 init 脚本的方法是改变 /etc/default 目录下，与 init 脚本同名的文件里的环境变量设置。 参阅 fstab(5) 和 mount(8)。 通过 proc 文件系统，Linux 内核可直接调节某些硬件参数。参阅 通过 proc 文件系统调整内核, 第 7.3 节。 其它参数如 core 等的设置方法与之类似。PATH 的初始值可在 /etc/login.defs 中先于 shell 启动脚本设置。 PAM 的文档位于 libpam-doc 软件包内。 更多信息参阅 inetd(8)、inetd.conf(5)、protocols(5)、services(5)、tcpd(8)、hosts_access(5) 和 hosts_options(5)。
1.1K30发布于 2018-08-07 - 来自专栏AI
大模型微调
，仅优化这些新增的少量参数（通常占主模型的0.1%-5%），实现任务适配，是当前大模型（十亿/百亿/千亿参数量）、低资源任务、多任务适配的主流方式，也是LoRA所属的类别。 核心特点：效果接近全量微调，是工业级大模型的主流选择，参数量仍控制在5%以内。 PEFT整体核心特点 优点：参数更新比例0.1%-5%，算力/数据需求降至最低（千/万级样本即可）、无过拟合风险、多任务适配成本极低（一个主模型+多个PEFT小模块，切换任务仅替换模块）； 缺点：单一任务效果略逊于全量微调 早期Transformer小模型适配 参数高效微调（PEFT） 0.1%-5% 极低 千/万级以上 基本无（LoRA）/轻微（Adapter） LoRA/Adapter/IA³ 自注意力的Q/K/V投影矩阵，与你论文的核心技术高度契合； 次选LoRA+Adapter混合：若追求更高的任务适配效果，可在LoRA微调QKV的基础上，在MLP层插入轻量Adapter，参数量仍控制在5%
14110编辑于 2026-02-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号