- 综合排序
- 最热优先
- 最新优先
- 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
1.5 SFT 监督微调的主流方法 随着技术的发展，涌现出越来越多的大语言模型，且模型参数越来越多，比如 GPT3 已经达到 1750 亿的参数量，传统的监督微调方法已经不再能适用现阶段的大语言模型。 LoRA 与其它多种微调方法不冲突，可以与其它微调方法相结合，比如下节实训将要介绍的前缀调优方法等。 3. 微调方法在效果上可以媲美全参数微调的方式 3.P-tuning v2微调方法在自然语言理解任务上表现不佳 P-tuning v2微调方法原理方面：1.P-tuning v2微调方法在transformer Freeze微调优点：1.Freeze微调方法是一种参数高效的微调方法 2.大语言模型的后几层网络主要提取的是语义特征，前几层主要提取的是文本的表层特征 3.Transformer的全连接层参数量多于自注意力层参数量 Freeze微调优点：1.Freeze微调方法是一种参数高效的微调方法 2.大语言模型的后几层网络主要提取的是语义特征，前几层主要提取的是文本的表层特征 3.Transformer的全连接层参数量多于自注意力层参数量
9.8K66编辑于 2023-10-11 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
图片 1.5 SFT 监督微调的主流方法 随着技术的发展，涌现出越来越多的大语言模型，且模型参数越来越多，比如 GPT3 已经达到 1750 亿的参数量，传统的监督微调方法已经不再能适用现阶段的大语言模型 LoRA 与其它多种微调方法不冲突，可以与其它微调方法相结合，比如下节实训将要介绍的前缀调优方法等。 3. 3.P-tuning v2微调方法在自然语言理解任务上表现不佳 P-tuning v2微调方法原理方面：1.P-tuning v2微调方法在transformer的每一层都加入了prefix、2.P-tuning v2微调方法采用了多任务学习、3.P-tuning v2微调方法prefix部分的参数不是由上一层的prefix输出来输入 常见误区：P-tuning v2微调方法微调的参数对象是每一层离散表示的prefix Freeze微调优点：1.Freeze微调方法是一种参数高效的微调方法 2.大语言模型的后几层网络主要提取的是语义特征，前几层主要提取的是文本的表层特征 3.Transformer的全连接层参数量多于自注意力层参数量
24.7K07编辑于 2023-07-16 - 来自专栏DeepHub IMBA
使用ORPO微调Llama 3
论文的实证结果表明，ORPO在各种模型大小和基准上都优于其他对齐方法，所以这次我们就来使用最新的Llama 3来测试下ORPO的效果。 我们将使用ORPO和TRL库对新的Llama 3 8b模型进行微调。 ORPO 指令调优和偏好对齐是使大型语言模型(llm)适应特定任务的基本技术。 更具体的ORPO介绍，可以看我们前几天发布的文章： ORPO偏好优化：性能和DPO一样好并且更简单的对齐方法 目前ORPO已经在主要的微调库中实现，比如TRL、Axolotl和LLaMA-Factory ，所以我们可以直接就拿来用 ORPO微调Llama 3 Llama 3已经发布了两种模型大小:700亿参数模型和较小的80亿参数模型。 usp=sharing orpo作者微调Llama 3的log https://huggingface.co/orpo-explorers/hf-llama3-8b-orpo-v0.0/tensorboard
80910编辑于 2024-04-26 - 来自专栏腾讯技术工程官方号的专栏
大模型微调方法总结
假设要在下游任务微调一个预训练语言模型（如 GPT3），则需要更新预训练模型参数，公式表示如下： W0 是预训练模型初始化的参数，ΔW 就是需要更新的参数。 如果是全参数微调，则它的参数量=W0 参数量（如果是 GPT3，则 ΔW≈175B）。从这可以看出要全参数微调大语言模型，小家小户是不可能的。 目前该技术已经广泛应用于大模型的微调，如 Alpaca，stable diffusion+LoRA，而且能和其它参数高效微调方法有效结合，例如 State-of-the-art Parameter-Efficient Adapter 方法不需要微调预训练模型的全部参数，通过引入少量针对特定任务的参数，来存储有关该任务的知识，降低对模型微调的算力要求。 作者对全模型微调(Full)、Adapter、AdapterFusion 三种方法在各个数据集上进行和对比试验。
2.8K42编辑于 2023-07-26 - 来自专栏技术趋势
chatGLM3-LoRA微调实战
注意：ChatGLM3-6B-Base 和 ChatGLM3-6B-32K 模型不支持微调。 啥是泛化能力？ 微调方法 名称 GPU占用 备注 LoRA 低(秩)rank 自适应微调方法全称全称是：LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 14082MiB 显存预计 ，train.json用于训练数据集的文件; 基于LORA微调方法 硬件要求 硬件名称 配置 备注 内存 16GB GPU 15GB 多论对话模板 [ { "conversations": [ } ] } 原版(未训练) 训练后 注：由于微调受限于参数以及存在随机性，所以若想实现FAQ的场景可以考虑使用向量数据库+大模型比如chatchat 基于P-TuningV2微调方法 由于GPU 需要18426MiB后续支持 基于SFT 全量微调方法 由于需要GPU4张显卡平均分配，每张显卡占用 48346MiB 显存，后续支持 训练过程中遇到的问题 找不到对应文件：special_tokens_map.json
1.9K10编辑于 2024-03-22 - 来自专栏自然语言处理(NLP)论文速递
北航&北大 | 提出统一微调框架，整合前沿微调方法，可支持100多种LLMs的微调！
为了能够实现对大模型的高效微调，本文作者提出了一个统一的大模型微调框架：LLAMAFACTORY，该框架整合了一系列前沿的高效微调方法，支持对100多种大模型的微调。 LLAMAFACTORY微调方法 LLAMAFACTORY框架中的高效微调技术（Efficient Fine-Tuning Techniques）主要分为两大类：优化方法和计算方法。 优化方法 「冻结微调（Freeze-tuning）」：这种方法涉及冻结大部分参数，同时在解码器的一小部分层中进行微调。这样可以在保持模型大部分结构不变的情况下，仅对关键部分进行更新。 它通过集成最新的高效微调技术，提供了一种独立于具体训练任务的微调方法，并且能够通过DeepSpeed进一步降低内存消耗。 这突出了这些高效微调方法在适应特定任务方面的有效性。
1.1K11编辑于 2024-03-26 - 来自专栏xiaosen
LLaMA Factory微调Llama3模型
LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。 llama3-8B模型尝试一下 安装LLaMA Factory 拉取LLaMA-Factory项目 git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git } ] } ] 模型微调 我们不光可以通过命令行进行微调，还可以启动一个webui来微调推理 ! 界面： 数据集使用上述下载的train.json，点击「预览数据集」可以预览一下数据 设置学习率为1e-4，梯度累积为2，有利于模型拟合，其他的可以按需调整； 将输出目录修改为train_llama3， 选择「Chat」栏，确保适配器路径是train_llama3，点击「加载模型」即可在Web UI中和微调模型进行对话。 模型微调之前的对话： 微调之后：
59110编辑于 2024-09-05 LLaMA3-8B-Instruct Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出 Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 https://www.codewithgpu.com/i/datawhalechina/self-llm/self-llm-LLaMA3 在本节教程里，我们将微调数据集放置在根目录 /dataset 8B-Instruct', cache_dir='/root/autodl-tmp', revision='master') 指令集构建 LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instruction": "回答以下用户问题，仅输出答案。", "input": "1+1等于几?"
54810编辑于 2025-07-21- 来自专栏AI进修生
微调LLMs：概述、方法和最佳实践（附天工Skywork-13B微调）
增强推理能力 微调不仅可以增强模型的词语关联能力，还能教会模型更多推理技巧和方法，使其在处理复杂问题时进行更深入的逻辑分析和推理。 主要微调方法 微调方法可以分为全量微调和参数高效微调。 RLHF） 3. 参数高效微调技术分类 • 增加式方法 • 选择式方法 • 重新参数化方法 1. 微调技术总览 全量微调 (Full Fine Tuning, FFT) 在全量微调中，模型的所有参数都会进行重新训练。 参数高效微调 (PEFT) 最小化训练参数数量，提高特定任务性能。 • 类比： 在建筑物上增加模块功能。 3. 参数高效微调技术分类 增加式方法 在模型中增加额外参数或层，且仅训练这些部分。 3. Prefix Tuning 在Transformer层添加前缀以引导模型。 • 类比： 演讲加引言帮助理解内容。 选择式方法 选择性地调整模型现有参数，如仅修改偏置项。
78010编辑于 2024-12-02 【大模型微调】一文掌握5种大模型微调的方法
一、大模型微调的基础理论在探索具体方法之前，我们首先需要建立一个清晰的认知框架，理解大模型微调在整个AI模型生命周期中所扮演的角色。 3、解码器层（Decoder，右侧）与编码器对应的是解码器，它同样由N个相同层堆叠而成，但结构更为复杂。 本文将重点介绍五种具有代表性的微调方法，它们共同勾勒出从传统到前沿的技术演进脉络。 3、QLoRA-极致压缩的微调方案QLoRA（Quantized Low-Rank Adaptation）是LoRA的“量化增强版”，通过将预训练模型量化为4位精度，进一步压低了微调的内存门槛。 通过五种主流方法，我们看到了从全参数微调到参数高效微调的清晰技术演进路径，每种方法都在效率与效果之间提供了不同的平衡点。
2.6K40编辑于 2025-10-23- 来自专栏深度学习自然语言处理
每日论文速递 | 当缩放遇到LLM微调:数据、模型和微调方法的影响
，但我们对不同微调方法的归纳偏差（特别是缩放属性）的理解仍然有限。 LLM模型缩放中获得的收益大于预训练数据缩放，PET参数缩放通常无效;以及3）最优微调方法是高度任务和微调数据相关的。 微调方法的选择：论文希望揭示微调方法的选择对于下游任务的影响，以及如何根据任务和数据来选择最优的微调方法。 这些相关研究为理解大型语言模型的微调行为提供了理论基础和实践经验，同时也指出了在不同领域和任务中微调方法的适用性和效果。 Q3: 论文如何解决这个问题？ 微调的最优方法高度依赖于任务和微调数据，使得为下游任务选择最佳微调方法变得复杂。 LLM基于微调的方法能够鼓励零样本泛化到相关任务，且PET表现优于FMT。
90410编辑于 2024-03-02 - 来自专栏AI
微调
），我们会看到最佳结果我们的提示工程指南提供了一些最有效的策略和方法的背景，可以在不进行微调的情况下获得更好的性能。 此外，早期构建测试集将有助于确保您能够在训练后评估模型，方法是在测试集上生成样本。令牌限制令牌限制取决于您选择的模型。 要估算特定微调作业的成本，请使用以下公式：每1000个令牌的基本成本 输入文件中的令牌数 训练的纪元数对于一个包含100,000个令牌的训练文件，经过3个纪元的训练，预期成本将约为2.40美元。 目前，仅保存并可用于使用的作业的最后3个纪元的检查点。我们计划在不久的将来发布更复杂和灵活的检查点策略。 在数据质量上进行迭代如果微调作业的结果不如您预期的那样好，请考虑以下调整训练数据集的方法：收集示例以解决剩余问题如果模型在某些方面仍然表现不佳，请添加直接展示模型如何正确执行这些方面的训练示例仔细检查现有示例是否存在问题如果您的模型存在语法
61410编辑于 2024-04-20 ChatGLM3-6B-chat Lora 微调
06-ChatGLM3-6B-chat Lora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 ChatGLM3-6B-chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 本节所讲述的代码脚本在同级目录 ChatGLM3-6B-chat Lora 微调 下，运行该脚本来执行微调过程，但注意，本文代码未使用分布式框架，微调 ChatGLM3-6B-Chat 模型至少需要 21G 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { "instrution":"回答以下用户问题，仅输出答案。" ，都可以使用下面的方法进行重新加载，并推理: 加载源model与tokenizer； 使用PeftModel合并源model与PEFT微调后的参数。
42510编辑于 2025-07-17- 来自专栏云云众生s
微调还是提示工程才是AI的正确方法？
让我们探讨这两种方法之间的差异，从早期采用者那里学习，并概述大规模微调的基础设施要求。 当与检索增强生成 (RAG)（它集成了外部知识库）结合使用时，这种方法可以动态地丰富模型输出，使其成为一种经济高效且适应性强的解决方案。 这就是微调的优势所在。 微调：解锁模型定制 微调涉及使用特定领域的数据集重新训练基础模型，并调整模型的权重，以更好地适应独特的工作流程。 第 3 步：构建编排层 高效地管理 GPU 资源需要一个编排层。该层根据开发人员的需求分配 GPU 容量。 第 4 步：微调和模型开发 设置好基础设施后，AI 团队可以专注于真正的工作：微调和构建模型。
37010编辑于 2025-02-12 - 来自专栏深度学习与python
谷歌开源 AI 微调方法： Distilling Step-by-Step
逐步蒸馏的关键思想是使用 LLM 自动生成一个小型微调数据集，其中的数据有一个输入和一个输出标签，以及选择这个输出标签的“理由”。微调过程会训练这个小模型来预测输出标签并生成对应的理由。 在 NLP 基准上评估时，小型微调模型的性能优于 540B PaLM 模型，同时仅需要这个基准测试的全部微调数据的 80%。 要做出在特定任务上表现良好的小模型的一种方法，是使用针对具体任务收集的数据集来微调小规模语言模型。虽然这个数据集可能相对较小（大约有数千个示例），但其数据收集起来可能还是费时费钱。 逐步蒸馏确实需要微调数据集，但它减少了创建高性能模型所需的数据量。源数据集通过思维链提示输入 PaLM LLM，要求模型给出其答案的理由。输出结果是修正后的微调数据集，其中包含原始输入和答案以及理由。 这个较小的目标模型经过微调来执行两项任务：回答原始问题并生成理由。 谷歌使用四个 NLP 基准测试评估了他们的技术，每个基准都包含一个微调数据集。
49821编辑于 2023-11-09 Phi-3-mini-4k-Instruct Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 Phi-3-mini-4k-Instruct 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出 Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 https://www.codewithgpu.com/i/datawhalechina/self-llm/Phi-3-Lora 在本节教程里，我们将微调数据集放置在根目录 /dataset。 mini-4k-instruct', cache_dir='/root/autodl-tmp', revision='master') 指令集构建 LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instruction": "回答以下用户问题，仅输出答案。", "input": "1+1等于几?"
30010编辑于 2025-07-21- 来自专栏自然语言处理(NLP)论文速递
深入了解 大语言模型（LLM）微调方法（总结）
其中主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。 虽然GPT-3能理解和创建一般文本，但它可能没有针对复杂的医学术语和特定医疗术语进行优化。 为了提高GPT-3在这一专业角色中的性能，该组织会在包含医疗报告和患者笔记的数据集上对GPT-3进行微调。 微调方法 LLM微调是一个有监督学习过程，主要使用标注数据集来更新LLM的权重，并使模型提高其特定任务的能力。接下来将为大家介绍一些值得注意的微调方法。 这种方法比迁移学习需要更多的数据和时间，但可以在特定任务上获得更高的性能。 「3、灾难性遗忘」：在全微调过程中，模型在单一任务上的权重被修改，可能导致在其他任务上的性能下降。 「RAG与微调的关系」 在语言模型的背景下，RAG和微调通常被视为竞争方法。然而，它们的结合使用可以显著提高性能。
10.3K21编辑于 2024-02-23 - 来自专栏自然语言处理(NLP)论文速递
澳门大学 | 提出神经元级高效微调方法：NeFT，秒杀LoRA，性能超全参微调（FPFT）！
为此，本文作者提出了一种神经元级高效微调方法：NeFT，它将参数训练粒度细化到单个神经元级别，性能上超过了全参数微调（FPFT）和高效参数微调（PEFT），开辟了大模型微调新方向。 然而，随着研究的深入，人们逐渐引入了参数高效微调（PEFT），例如：LoRA系列微调算法，该类方法主要基于层级模块化进行参数选择，旨在减少模型训练中的训练参数。 与以上方法不同，本文作者基于对模型可解释研究的理解，提出了神经元级别的模型微调方法：NeFT，该方法可以识别出模型中较为敏感的神经元，然后再对相关参数进行更新来提高模型性能。 然而，这种经验性的选择和逐层搜索非常耗时，而最近的进展集中在利用外部模块来更新所有层级参数，其中主要代表方法有适配器（Adapter）、LoRA、稀疏微调（Sparse Fine-Tuning）等方法。 提出了Neuron-Level Fine-Tuning (NeFT) 新型微调方法，如下图所示： NeFT主要分为「三个步骤」，其中包括模型准备、神经元选择、神经元微调。
75410编辑于 2024-04-12 XTuner 微调
xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。 对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。 增量预训练微调 定义一些基本方法。 导入必要的库 import torch from transformers import AutoTokenizer, AutoModelForCausalLM 定义模型加载方法 def load_model tree -l 准备配置文件 在准备好了模型和数据集后，我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了，从而减少我们对配置文件的修改量。
41510编辑于 2024-10-10- 来自专栏算法一只狗
谁说多模态微调难？我用这套方法，连Qwen2-VL和LLaMA3都能搞定！
最近我一直在使用Qwen2-VL模型进行多模态数据集的微调。实际上，这套方法不仅适用于Qwen2-VL模型，其他的大模型，如Llama3，同样可以用此方法进行微调。 下面以Qwen2-VL模型为例，详细介绍微调的具体过程。首先，从Qwen2-VL的官方页面上可以了解到详细的微调方法。微调过程主要依靠LLaMA-Factory这个开源仓库的代码进行辅助。 ，即可快速开始模型微调。 完成模型和数据集的准备工作后，就可以正式启动微调。LLaMA-Factory提供了便捷的命令行指令，只需简单执行几条命令，就能轻松开始模型的微调过程。 模型微调完成后，最终的模型权重文件会保存在models/qwen2_vl_lora_sft目录下。此时即可使用生成的权重文件进行后续的推理工作。
1.5K10编辑于 2025-05-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号