- 综合排序
- 最热优先
- 最新优先
- 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 理解 P-tuning v2 微调方法，首先需要了解 prefix-tuning 微调方法和 P-tuning v1 微调方法。 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 3.3 P-tuning v2 微调方法优点 P-tuning v2 微调方法解决了 P-tuning v1 方法的缺陷，是一种参数高效的大语言模型微调方法。
9.8K66编辑于 2023-10-11 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 理解 P-tuning v2 微调方法，首先需要了解 prefix-tuning 微调方法和 P-tuning v1 微调方法。 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 3.3 P-tuning v2 微调方法优点 P-tuning v2 微调方法解决了 P-tuning v1 方法的缺陷，是一种参数高效的大语言模型微调方法。
24.6K07编辑于 2023-07-16 - 来自专栏腾讯技术工程官方号的专栏
大模型微调方法总结
目前该技术已经广泛应用于大模型的微调，如 Alpaca，stable diffusion+LoRA，而且能和其它参数高效微调方法有效结合，例如 State-of-the-art Parameter-Efficient Adapter 方法不需要微调预训练模型的全部参数，通过引入少量针对特定任务的参数，来存储有关该任务的知识，降低对模型微调的算力要求。 作者对全模型微调(Full)、Adapter、AdapterFusion 三种方法在各个数据集上进行和对比试验。 AdapterFusion 在大多数情况下性能优于全模型微调和 Adapter，特别在 MRPC(相似性和释义任务数据集)与 RTE(识别文本蕴含数据集)中性能显著优于另外两种方法。 （ y ）的拼接，模型自回归地生成： 对于摘要任务，本文使用 BART 模型，编码器输入 source 文本 x ，解码器输入 target 黄金摘要（ y ），模型预测摘要文本： 实现 在传统微调方法中
2.8K42编辑于 2023-07-26 - 来自专栏自然语言处理(NLP)论文速递
北航&北大 | 提出统一微调框架，整合前沿微调方法，可支持100多种LLMs的微调！
为了能够实现对大模型的高效微调，本文作者提出了一个统一的大模型微调框架：LLAMAFACTORY，该框架整合了一系列前沿的高效微调方法，支持对100多种大模型的微调。 LLAMAFACTORY微调方法 LLAMAFACTORY框架中的高效微调技术（Efficient Fine-Tuning Techniques）主要分为两大类：优化方法和计算方法。 优化方法 「冻结微调（Freeze-tuning）」：这种方法涉及冻结大部分参数，同时在解码器的一小部分层中进行微调。这样可以在保持模型大部分结构不变的情况下，仅对关键部分进行更新。 它通过集成最新的高效微调技术，提供了一种独立于具体训练任务的微调方法，并且能够通过DeepSpeed进一步降低内存消耗。 这突出了这些高效微调方法在适应特定任务方面的有效性。
1.1K11编辑于 2024-03-26 - 来自专栏AI进修生
微调LLMs：概述、方法和最佳实践（附天工Skywork-13B微调）
如果这些方法仍然不够理想，就需要微调。 微调特别适用于需要模型在特定领域或任务上更精准时。预训练模型通用性强，但在处理专业任务时可能不理想。 增强推理能力 微调不仅可以增强模型的词语关联能力，还能教会模型更多推理技巧和方法，使其在处理复杂问题时进行更深入的逻辑分析和推理。 主要微调方法 微调方法可以分为全量微调和参数高效微调。 在微调策略方面，我们有有监督微调和基于人类反馈的强化学习，这两种策略都可以应用于全量微调和参数高效微调。 因此，参数高效微调是一种策略，其具体实现可以通过增加式、选择式和重新参数化方法来完成。 参数高效微调技术分类 • 增加式方法 • 选择式方法 • 重新参数化方法 1. 微调技术总览 全量微调 (Full Fine Tuning, FFT) 在全量微调中，模型的所有参数都会进行重新训练。 微调方法分类 有监督微调 (Supervised Fine Tuning, SFT) 通过标注数据指导模型的学习，使模型在特定任务上进行优化。
77810编辑于 2024-12-02 【大模型微调】一文掌握5种大模型微调的方法
一、大模型微调的基础理论在探索具体方法之前，我们首先需要建立一个清晰的认知框架，理解大模型微调在整个AI模型生命周期中所扮演的角色。 二、大模型微调的底层架构要深入理解各类微调方法的工作原理，我们首先需要深入审视其赖以生存的土壤——Transformer架构。 本文将重点介绍五种具有代表性的微调方法，它们共同勾勒出从传统到前沿的技术演进脉络。 除上述方法外，还有像IA³（通过缩放激活值来微调）、BitFit（仅偏置项微调）等新兴技术，也因其独特的思路和更极致的效率值得探索。 通过五种主流方法，我们看到了从全参数微调到参数高效微调的清晰技术演进路径，每种方法都在效率与效果之间提供了不同的平衡点。
2.6K40编辑于 2025-10-23- 来自专栏深度学习自然语言处理
每日论文速递 | 当缩放遇到LLM微调:数据、模型和微调方法的影响
，但我们对不同微调方法的归纳偏差（特别是缩放属性）的理解仍然有限。 微调方法的选择：论文希望揭示微调方法的选择对于下游任务的影响，以及如何根据任务和数据来选择最优的微调方法。 参数高效的方法（Parameter-Efficient Methods）：研究者们开发了各种参数高效的方法，以在不显著增加参数数量的情况下，实现对预训练模型的有效微调。 然而，对于不同微调方法的归纳偏差，尤其是缩放属性，目前的理解还很有限。 微调的最优方法高度依赖于任务和微调数据，使得为下游任务选择最佳微调方法变得复杂。 LLM基于微调的方法能够鼓励零样本泛化到相关任务，且PET表现优于FMT。
90110编辑于 2024-03-02 - 来自专栏AI
微调
可以进行微调的模型有哪些？GPT-4的微调目前处于实验性访问计划中 - 符合条件的用户可以在创建新的微调任务时在微调界面上申请访问权限。 ），我们会看到最佳结果我们的提示工程指南提供了一些最有效的策略和方法的背景，可以在不进行微调的情况下获得更好的性能。 此外，早期构建测试集将有助于确保您能够在训练后评估模型，方法是在测试集上生成样本。令牌限制令牌限制取决于您选择的模型。 在数据质量上进行迭代如果微调作业的结果不如您预期的那样好，请考虑以下调整训练数据集的方法：收集示例以解决剩余问题如果模型在某些方面仍然表现不佳，请添加直接展示模型如何正确执行这些方面的训练示例仔细检查现有示例是否存在问题如果您的模型存在语法 我可以继续微调已经微调过的模型吗？是的，您可以在创建微调作业时将已微调模型的名称传递给模型参数。这将以已微调模型为起点开始一个新的微调作业。我如何估计微调模型的成本？请参考上文中的成本估算部分。
61210编辑于 2024-04-20 - 来自专栏云云众生s
微调还是提示工程才是AI的正确方法？
让我们探讨这两种方法之间的差异，从早期采用者那里学习，并概述大规模微调的基础设施要求。 当与检索增强生成 (RAG)（它集成了外部知识库）结合使用时，这种方法可以动态地丰富模型输出，使其成为一种经济高效且适应性强的解决方案。 这就是微调的优势所在。 微调：解锁模型定制 微调涉及使用特定领域的数据集重新训练基础模型，并调整模型的权重，以更好地适应独特的工作流程。 为什么微调越来越受欢迎 随着企业意识到通过为特定需求定制 AI 模型来交付更好结果的潜力，微调正变得越来越流行。这不仅仅是访问 GPU — 而是通过使微调更容易的新工具，充分利用专有数据。 第 4 步：微调和模型开发 设置好基础设施后，AI 团队可以专注于真正的工作：微调和构建模型。
37010编辑于 2025-02-12 - 来自专栏深度学习与python
谷歌开源 AI 微调方法： Distilling Step-by-Step
逐步蒸馏的关键思想是使用 LLM 自动生成一个小型微调数据集，其中的数据有一个输入和一个输出标签，以及选择这个输出标签的“理由”。微调过程会训练这个小模型来预测输出标签并生成对应的理由。 在 NLP 基准上评估时，小型微调模型的性能优于 540B PaLM 模型，同时仅需要这个基准测试的全部微调数据的 80%。 要做出在特定任务上表现良好的小模型的一种方法，是使用针对具体任务收集的数据集来微调小规模语言模型。虽然这个数据集可能相对较小（大约有数千个示例），但其数据收集起来可能还是费时费钱。 逐步蒸馏确实需要微调数据集，但它减少了创建高性能模型所需的数据量。源数据集通过思维链提示输入 PaLM LLM，要求模型给出其答案的理由。输出结果是修正后的微调数据集，其中包含原始输入和答案以及理由。 这个较小的目标模型经过微调来执行两项任务：回答原始问题并生成理由。 谷歌使用四个 NLP 基准测试评估了他们的技术，每个基准都包含一个微调数据集。
49521编辑于 2023-11-09 - 来自专栏自然语言处理(NLP)论文速递
深入了解 大语言模型（LLM）微调方法（总结）
其中主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。 有监督微调(SFT) 有监督微调意味着使用标记数据更新预先训练的语言模型来完成特定任务。所使用的数据已提前检查过。这与不检查数据的无监督方法不同。 微调方法 LLM微调是一个有监督学习过程，主要使用标注数据集来更新LLM的权重，并使模型提高其特定任务的能力。接下来将为大家介绍一些值得注意的微调方法。 「4、多任务学习」：多任务微调是单任务微调的扩展，训练数据集包含多个任务的输入和输出示例。这种方法可以同时提高模型在所有任务上的性能，避免灾难性遗忘的问题。 「RAG与微调的关系」 在语言模型的背景下，RAG和微调通常被视为竞争方法。然而，它们的结合使用可以显著提高性能。
10.3K21编辑于 2024-02-23 - 来自专栏自然语言处理(NLP)论文速递
澳门大学 | 提出神经元级高效微调方法：NeFT，秒杀LoRA，性能超全参微调（FPFT）！
为此，本文作者提出了一种神经元级高效微调方法：NeFT，它将参数训练粒度细化到单个神经元级别，性能上超过了全参数微调（FPFT）和高效参数微调（PEFT），开辟了大模型微调新方向。 然而，随着研究的深入，人们逐渐引入了参数高效微调（PEFT），例如：LoRA系列微调算法，该类方法主要基于层级模块化进行参数选择，旨在减少模型训练中的训练参数。 与以上方法不同，本文作者基于对模型可解释研究的理解，提出了神经元级别的模型微调方法：NeFT，该方法可以识别出模型中较为敏感的神经元，然后再对相关参数进行更新来提高模型性能。 然而，这种经验性的选择和逐层搜索非常耗时，而最近的进展集中在利用外部模块来更新所有层级参数，其中主要代表方法有适配器（Adapter）、LoRA、稀疏微调（Sparse Fine-Tuning）等方法。 提出了Neuron-Level Fine-Tuning (NeFT) 新型微调方法，如下图所示： NeFT主要分为「三个步骤」，其中包括模型准备、神经元选择、神经元微调。
75210编辑于 2024-04-12 XTuner 微调
xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。 对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。 增量预训练微调 定义一些基本方法。 导入必要的库 import torch from transformers import AutoTokenizer, AutoModelForCausalLM 定义模型加载方法 def load_model tree -l 准备配置文件 在准备好了模型和数据集后，我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了，从而减少我们对配置文件的修改量。
41510编辑于 2024-10-10- 来自专栏对白的算法屋
当我在微调的时候我在微调什么？
微调效果到底好不好，微调之后的词向量表示是否有效，可以直接用针对下游任务的分类器的准确度来衡量。只有微调效果足够好时，分类效果才够准。 DIRECTPROBE 基于聚类的探针。 通过比较微调前后不同簇之间的距离，可以量化微调之后的词向量表示的变化。 分类器探针接到BERT输出层，跟着BERT一起微调。为了降低微调过程中不稳定性的影响，同一个任务作者使用不同的初始化参数进行了五次微调。 使用原始train对BERT~small~进行微调，微调前后均只使用subtrain训练分类器。分类器的训练不参与微调。 如下图所示，微调前分类器在subtest和test上的学习曲线一致。 另外，除了实验结论外，本文实验方法和可视化分析也非常值得学习~ 你好，我是对白，硕士毕业于清华，现大厂算法工程师，拿过八家大厂的SSP级以上offer。 高中荣获全国数学和化学竞赛二等奖。
2.1K10编辑于 2022-04-01 - 来自专栏AI理论与前沿
对于大模型，到底微调还是不微调？
表 1：在 Llama 2 7B 上使用不同微调方法（[来源](https://github.com/pytorch/torchtune? 我们提供三个示例：微调 LLM 以更好地使用或忽略来自检索器的上下文微调 LLM 评审模型来评估其他 LLM 的指标，如扎根性、合规性或有用性微调 LLM 来增加上下文窗口2 微调与其他领域适应技术的比较 然而，我们认为这种范式过于简化，因为在多个场景下，RAG 不仅不是微调的替代方案，反而更多的是微调的补充方法。根据问题的特性，可能需要尝试一种或两种方法。 对于这些类型的需求，微调通常是正确的方法。你的应用程序对幻觉有多宽容？在压制虚假信息和想象性编造至关重要的应用中，RAG 系统提供了内置的机制来最小化幻觉。有多少标注的训练数据可用？ 如果问题需要访问动态的数据语料库，微调可能不是正确的方法，因为 LLM 的知识可能很快变得过时。LLM 应用程序需要多大的透明性/可解释性？
84700编辑于 2024-09-17 - 来自专栏集智书童
Mini but Mighty | 简直就是微调ViT神器，有了Mimi微调方法，别的不用选了！又稳又快！
最常用的学习新任务的方法是完全或部分地微调预训练网络；然而，在处理多个任务时，这种方法需要训练多个单独的模型，这导致了大量的存储成本。 3.1 Preliminaries 作者的方法主要应用于ViTs的微调，以适应不同的任务和数据集。通过使用作者的方法，可以实现更高效的参数分配和更高的性能。 作者包括了以下方法： 全量微调：微调模型的所有参数。 在调整参数数量小于2%的情况下，与全模型微调相比，MiMi的性能更优，同时保持了较高的参数效率。与自然语言处理任务[20]不同，视觉任务中的PET方法在低参数数量的数据集上无法达到全量微调的性能。 实验结果表明，与全量微调和其他Adapter学习方法相比，MiMi在多任务基准和域Net基准上具有更高的性能。
1.3K10编辑于 2024-01-10 - 来自专栏蓝天
Ubuntu系统微调
本章讲述了基本的基于命令行界面的系统配置方法。在学习本章前，你需要先阅读 Ubuntu 系统安装提示, 第 3 章. 自定义 init 脚本 最简单的控制 init 脚本的方法是改变 /etc/default 目录下，与 init 脚本同名的文件里的环境变量设置。 #auth required pam_unix.so nullok auth required pam_permit.so 该方法亦可用于 xdm、gdm，实现无密码 X 相反，如果你希望强化密码政策，可安装 cracklib2 并按下面的方法修改/etc/pam.d/passwd： password required pam_cracklib.so retry 其它参数如 core 等的设置方法与之类似。PATH 的初始值可在 /etc/login.defs 中先于 shell 启动脚本设置。 PAM 的文档位于 libpam-doc 软件包内。
1.1K30发布于 2018-08-07 - 来自专栏AI
大模型微调
，是最原始、最基础的微调方式。 二、第二类：部分微调（Partial Fine-tuning） 底层核心原理 基于预训练模型的特征分层特性，冻结模型底层/中层的通用特征参数，仅微调上层的任务特定特征参数，是全量微调的轻量化改进版。 常见细分方式 微调顶层MLP层：仅更新Transformer每一层的MLP前馈网络，冻结自注意力层； 微调输出层+顶层若干层：在冻结主体模型的基础上，新增任务专属输出层（如分类头、翻译头），并微调顶层2 -3层； 微调嵌入层+顶层：针对低资源语言/领域，微调词嵌入层（适配任务专属词汇）+顶层特征层。 补充 全量微调：需64卡以上超大规模GPU集群，仅适合大厂； 部分微调：需8-32卡，中等算力； LoRA（PEFT）：仅需1-8卡，单卡即可完成小模型微调，完全贴合中小算力场景的研究与实验，也是你论文中
13610编辑于 2026-02-09 预测LLM微调与遗忘副作用的新方法MNEME
摘要大型语言模型（LLM）常通过微调或知识遗忘来适应新任务或消除不良行为。现有评估方法虽能衡量干预后的性能，却缺乏检测不可预测或涌现性副作用（如遗忘生物学内容导致化学任务性能下降）的通用方案。 MNEME通过比较基础模型与微调模型在任务无关数据（如The Pile、LMSYS-Chat-1M）上的行为差异，无需访问微调数据即可隔离行为变化。 在三种场景（WMDP知识遗忘、涌现性错位、良性微调）中对五种LLM的测试表明，MNEME预测副作用的准确率高达95%，且与已知基准一致，无需定制启发式规则。 核心内容问题背景：LLM的微调与知识遗忘可能引发跨领域性能退化等不可预见的副作用，传统评估方法难以捕捉。 任务无关评估：无需依赖微调数据，直接分析模型内部机制的变化。 实验结果： 在WMDP知识遗忘任务中，MNEME准确识别因遗忘导致的化学知识退化。
31000编辑于 2025-07-30- 来自专栏AI SPPECH
56_大模型微调：全参数与参数高效方法对比
本文核心要点 要点 描述 互动思考 全参数微调 传统微调方法，调整所有模型参数 你在哪些场景下必须使用全参数微调？ 参数高效微调 仅调整部分参数的轻量级微调技术 你的资源限制如何影响微调方法选择？ 技术选择挑战 众多微调方法的选择困难 缺乏统一的评估标准和最佳实践 不同模型架构对微调方法的兼容性 微调超参数的优化复杂 4. 任务类型适应性 分类任务：大多数方法表现相近，全参数微调略优 生成任务：LoRA/QLoRA接近全参数，其他方法稍差 多轮对话：LoRA/全参数微调效果最佳 复杂推理：全参数微调>LoRA>其他方法 长文本处理 自适应微调技术 智能方法选择：根据任务特性自动选择最佳微调方法 动态参数调整：训练过程中动态调整微策略 混合微调策略：不同层或组件使用不同的微调方法 个性化适应：根据用户反馈持续优化微调效果 2. 新型微调方法 结合神经网络结构搜索的自适应微调 基于图神经网络的结构化微调 量子计算辅助的高效微调算法 基于元学习的少样本微调方法 3.
64310编辑于 2025-11-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号