- 综合排序
- 最热优先
- 最新优先
- 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 4. 对于 Transformer 的每一层结构，自注意力层的参数量为4⋅d2，即WQ、WQ、WQ和WQ ∈Rd×d；FF 层的参数量为8⋅d2，即W1∈Rd×4d,W2∈Rd×4d。
9.8K66编辑于 2023-10-11 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 4. 对于 Transformer 的每一层结构，自注意力层的参数量为4⋅d2，即WQ、WQ、WQ和WQ ∈Rd×d；FF 层的参数量为8⋅d2，即W1∈Rd×4d,W2∈Rd×4d。
24.7K07编辑于 2023-07-16 - 来自专栏腾讯技术工程官方号的专栏
大模型微调方法总结
目前该技术已经广泛应用于大模型的微调，如 Alpaca，stable diffusion+LoRA，而且能和其它参数高效微调方法有效结合，例如 State-of-the-art Parameter-Efficient Adapter 方法不需要微调预训练模型的全部参数，通过引入少量针对特定任务的参数，来存储有关该任务的知识，降低对模型微调的算力要求。 作者对全模型微调(Full)、Adapter、AdapterFusion 三种方法在各个数据集上进行和对比试验。 AdapterFusion 在大多数情况下性能优于全模型微调和 Adapter，特别在 MRPC(相似性和释义任务数据集)与 RTE(识别文本蕴含数据集)中性能显著优于另外两种方法。 4、P-tuning paper:[2103.10385\] GPT Understands, Too[2] code:[GitHub - THUDM/P-tuning: A novel method
2.8K42编辑于 2023-07-26 - 来自专栏数据分析与挖掘
用GPT4进行指令微调
在本文中，我们首次尝试使用GPT-4来生成指令伴随数据 ，以进行LLM的微调。 为了使LLMs能够遵循自然语言指令并完成现实世界的任务，研究人员一直在探索LLMs的指令调谐方法。 在这些方法中，SelfInstruct tuning（Wang等人，2022a）是一种简单有效的方法，通过学习最先进的指令调整教 师LLM产生的指令跟随数据，使LLM与人类意图相一致。 指令微调的语言模型 self-instruct微调 我们使用LLaMA 7B检查点的监督微调来训练两个模型：（i）LLaMA-GPT4是在GPT-4产生的52K英语指令跟随数据上训练的，其分布情况显示在图 这种方法通常需要大规模的比较数据，即对同一提示的两个模型反应进行比较 Ouyang等人（2022）。
1.7K20编辑于 2023-04-08 - 来自专栏自然语言处理(NLP)论文速递
北航&北大 | 提出统一微调框架，整合前沿微调方法，可支持100多种LLMs的微调！
为了能够实现对大模型的高效微调，本文作者提出了一个统一的大模型微调框架：LLAMAFACTORY，该框架整合了一系列前沿的高效微调方法，支持对100多种大模型的微调。 LLAMAFACTORY微调方法 LLAMAFACTORY框架中的高效微调技术（Efficient Fine-Tuning Techniques）主要分为两大类：优化方法和计算方法。 优化方法 「冻结微调（Freeze-tuning）」：这种方法涉及冻结大部分参数，同时在解码器的一小部分层中进行微调。这样可以在保持模型大部分结构不变的情况下，仅对关键部分进行更新。 它通过集成最新的高效微调技术，提供了一种独立于具体训练任务的微调方法，并且能够通过DeepSpeed进一步降低内存消耗。 这突出了这些高效微调方法在适应特定任务方面的有效性。
1.1K11编辑于 2024-03-26 GLM4-9B-chat Lora 微调
Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出 Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 https://www.codewithgpu.com/i/datawhalechina/self-llm/GLM-4 在本节教程里，我们将微调数据集放置在根目录 /dataset。 9b-chat', cache_dir='/root/autodl-tmp/glm-4-9b-chat', revision='master') 指令集构建 LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instruction": "回答以下用户问题，仅输出答案。", "input": "1+1等于几?" ", "dense_4h_to_h"], # 现存问题只微调部分演示即可 inference_mode=False, # 训练模式 r=8, # Lora 秩 lora_alpha
32010编辑于 2025-07-21- 来自专栏DeepHub IMBA
4张图片就可以微调扩散模型
这时就需要我们进行手动的微调。微调可以根据相对较小的图像集向模型教授新的、独特的主题。我们今天使用DreamBooth在不影响模型原始功能的情况下实现微调过程。 2、生成模型的微调 微调是指在一个新的、通常更小的数据集上调整预训练的模型，以使模型适应特定的需求，而不会失去从原始数据集学习到的泛化性。这种方法在数据稀缺或需要定制的应用程序中至关重要。 这可以被表述为一个正则化问题: 3、DreamBooth DreamBooth提出了一种新的微调方法，允许生成具有特定主题或对象的图像，同时保持模型生成不同图像的能力。 pip install huggingface_hub 为了更快、更节省内存的训练，特别是如果使用特定类型的gpu (T4、P100、V100、A100)，还可以选择安装以下组件: Xformers:提供高效 在本文中，我们将使用以下4个训练图像作为示例。 1、下载和可视化训练图像 下面的download_image函数用于从指定的url列表中检索图像，然后下载这些图像并将其转换为RGB格式以保持一致性。
82610编辑于 2024-02-21 - 来自专栏AI进修生
微调LLMs：概述、方法和最佳实践（附天工Skywork-13B微调）
增强推理能力 微调不仅可以增强模型的词语关联能力，还能教会模型更多推理技巧和方法，使其在处理复杂问题时进行更深入的逻辑分析和推理。 主要微调方法 微调方法可以分为全量微调和参数高效微调。 参数高效微调技术分类 • 增加式方法 • 选择式方法 • 重新参数化方法 1. 微调技术总览 全量微调 (Full Fine Tuning, FFT) 在全量微调中，模型的所有参数都会进行重新训练。 迁移学习 利用预训练模型，通过少量数据进行微调。 • 类比： 已学会骑自行车的人学骑摩托车。 3. 多任务学习 同时训练多个相关任务，提升模型性能。 • 类比： 学习多种乐器的音乐家。 4. 4. 偏好学习 从人类偏好中学习，优化输出。 • 类比： 消费者根据偏好选择产品。 5. 参数高效微调 (PEFT) 最小化训练参数数量，提高特定任务性能。 • 类比： 在建筑物上增加模块功能。 微调参数设置 • 配置参数：设置学习率、训练周期数和批量大小等参数，影响模型适应新数据的能力。 • 冻结层：防止过度拟合，保留预训练知识，同时学习新任务特征。 4.
78010编辑于 2024-12-02 【大模型微调】一文掌握5种大模型微调的方法
本文将重点介绍五种具有代表性的微调方法，它们共同勾勒出从传统到前沿的技术演进脉络。 （典型需求：微调7B模型需4×A100显卡。） 3、QLoRA-极致压缩的微调方案QLoRA（Quantized Low-Rank Adaptation）是LoRA的“量化增强版”，通过将预训练模型量化为4位精度，进一步压低了微调的内存门槛。 4、适配器调整-模块化设计的智慧适配器调整（Adapter Tuning）是一种“模块化插件”式的微调，通过在Transformer层中串行插入小型神经网络模块来适应新任务。 通过五种主流方法，我们看到了从全参数微调到参数高效微调的清晰技术演进路径，每种方法都在效率与效果之间提供了不同的平衡点。
2.6K40编辑于 2025-10-23- 来自专栏深度学习自然语言处理
每日论文速递 | 当缩放遇到LLM微调:数据、模型和微调方法的影响
，但我们对不同微调方法的归纳偏差（特别是缩放属性）的理解仍然有限。 微调方法的选择：论文希望揭示微调方法的选择对于下游任务的影响，以及如何根据任务和数据来选择最优的微调方法。 Q4: 论文做了哪些实验？ 然而，对于不同微调方法的归纳偏差，尤其是缩放属性，目前的理解还很有限。 微调的最优方法高度依赖于任务和微调数据，使得为下游任务选择最佳微调方法变得复杂。 LLM基于微调的方法能够鼓励零样本泛化到相关任务，且PET表现优于FMT。
90410编辑于 2024-03-02 - 来自专栏DeepHub IMBA
RAG流程优化（微调）的4个基本策略
我们先总结RAG过程中的可以优化的关键点: 1、分块方法:优化块大小确保有意义和上下文相关的数据段。 2、嵌入模型:选择和微调模型以改进语义表示。 3、向量搜索方法:选择有效的相似度量和搜索参数。 4、提供模型的最后提示:制作有效提示以提高输出质量。 RAG的A/B测试 A/B测试可以比较每个组件具有不同配置的两个版本，确定哪个版本的性能更好。 解决这种情况的一种方法是使用父文档检索器。这个方法不仅检索特定的相关文档片段或段落，还检索它们的父文档。这种方法确保了相关片段周围的上下文得到保存。 向量搜索方法 向量搜索方法基于相似性度量检索最相关的块。常用的方法包括欧几里得(L2)距离、余弦相似度等。改变这种搜索方法可以提高最终输出的质量。 我们探讨了四种关键优化方向:细化分块方法、选择和微调嵌入模型、选择有效的向量搜索方法以及制作精确的提示。这些组件中的每一个都在提高RAG系统的性能方面起着至关重要的作用。
2.1K10编辑于 2024-07-01 Phi-3-mini-4k-Instruct Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 Phi-3-mini-4k-Instruct 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出 Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 ', cache_dir='/root/autodl-tmp', revision='master') 指令集构建 LLM 的微调一般指指令微调过程。 所谓指令微调，是说我们使用的微调数据形如： { "instruction": "回答以下用户问题，仅输出答案。", "input": "1+1等于几?" /output/Phi-3", per_device_train_batch_size=4, gradient_accumulation_steps=4, logging_steps
30010编辑于 2025-07-21- 来自专栏AI
微调
可以进行微调的模型有哪些？GPT-4的微调目前处于实验性访问计划中 - 符合条件的用户可以在创建新的微调任务时在微调界面上申请访问权限。 gpt-4-0613（实验性）。 ），我们会看到最佳结果我们的提示工程指南提供了一些最有效的策略和方法的背景，可以在不进行微调的情况下获得更好的性能。 如果您能够通过GPT-4获得良好的结果，通常您可以通过在GPT-4完成上进行微调，可能使用缩短的指令提示，在微调gpt-3.5-turbo模型上达到类似的质量。 此外，早期构建测试集将有助于确保您能够在训练后评估模型，方法是在测试集上生成样本。令牌限制令牌限制取决于您选择的模型。
61410编辑于 2024-04-20 - 来自专栏云云众生s
微调还是提示工程才是AI的正确方法？
让我们探讨这两种方法之间的差异，从早期采用者那里学习，并概述大规模微调的基础设施要求。 当与检索增强生成 (RAG)（它集成了外部知识库）结合使用时，这种方法可以动态地丰富模型输出，使其成为一种经济高效且适应性强的解决方案。 这就是微调的优势所在。 微调：解锁模型定制 微调涉及使用特定领域的数据集重新训练基础模型，并调整模型的权重，以更好地适应独特的工作流程。 当首席数据科学家需要一个用于项目的 4-GPU 或 2-GPU 实例时，它可以立即配置，从而使团队能够继续进行而不会延误。 第 4 步：微调和模型开发 设置好基础设施后，AI 团队可以专注于真正的工作：微调和构建模型。
37010编辑于 2025-02-12 - 来自专栏深度学习与python
谷歌开源 AI 微调方法： Distilling Step-by-Step
逐步蒸馏的关键思想是使用 LLM 自动生成一个小型微调数据集，其中的数据有一个输入和一个输出标签，以及选择这个输出标签的“理由”。微调过程会训练这个小模型来预测输出标签并生成对应的理由。 在 NLP 基准上评估时，小型微调模型的性能优于 540B PaLM 模型，同时仅需要这个基准测试的全部微调数据的 80%。 要做出在特定任务上表现良好的小模型的一种方法，是使用针对具体任务收集的数据集来微调小规模语言模型。虽然这个数据集可能相对较小（大约有数千个示例），但其数据收集起来可能还是费时费钱。 逐步蒸馏确实需要微调数据集，但它减少了创建高性能模型所需的数据量。源数据集通过思维链提示输入 PaLM LLM，要求模型给出其答案的理由。输出结果是修正后的微调数据集，其中包含原始输入和答案以及理由。 这个较小的目标模型经过微调来执行两项任务：回答原始问题并生成理由。 谷歌使用四个 NLP 基准测试评估了他们的技术，每个基准都包含一个微调数据集。
49821编辑于 2023-11-09 GLM4大模型微调入门实战（完整代码）
GLM4是清华智谱团队最近开源的大语言模型。 以GLM4作为基座大模型，通过指令微调的方式做高精度文本分类，是学习LLM微调的入门任务。 显存要求相对较高，需要40GB左右。 在本文中，我们会使用 GLM4-9b-Chat 模型在 复旦中文新闻 数据集上做指令微调训练，同时使用SwanLab监控训练过程、评估模型效果。 () # 开启梯度检查点时，要执行该方法 # 加载、处理数据集和测试集 train_dataset_path = "train.jsonl" test_dataset_path = "test.jsonl fintune", experiment_name="GLM4-9B-Chat", description="使用智谱GLM4-9B-Chat模型在zh_cls_fudan-news数据集上微调 可以看到在一些测试样例上，微调后的glm2能够给出准确的文本类型： 至此，你已经完成了GLM4指令微调的训练！
2.5K10编辑于 2024-06-20DeepSeek-7B-chat 4bits量化 QLora 微调
DeepSeek-7B-chat 4bits量化 QLora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 DeepSeek-7B-chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 这个教程会在同目录下给大家提供一个 nodebook 文件，来让大家更好的学习。 指令集构建 LLM 的微调一般指指令微调过程。所谓指令微调，是说我们使用的微调数据形如： { "instrution":"回答以下用户问题，仅输出答案。" bnb_4bit_quant_type="nf4", # 4位精度量化的类型。这里设置为"nf4"，表示使用nf4量化类型。
43410编辑于 2025-07-17- 来自专栏自然语言处理(NLP)论文速递
深入了解 大语言模型（LLM）微调方法（总结）
其中主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。 如果性能不佳，尝试进行提示工程（prompt engineering）或进一步微调。确保模型输出与人类偏好保持一致。 「4、评估与迭代」：定期使用指标和基准进行评估。 「4、模型更新」 在这个过程中，模型会根据标记数据进行更新。它根据其猜测与实际答案之间的差异进行改变。这有助于模型学习标记数据中的细节。通过这样做，模型在微调的任务上的表现会得到提升。 微调方法 LLM微调是一个有监督学习过程，主要使用标注数据集来更新LLM的权重，并使模型提高其特定任务的能力。接下来将为大家介绍一些值得注意的微调方法。 「4、多任务学习」：多任务微调是单任务微调的扩展，训练数据集包含多个任务的输入和输出示例。这种方法可以同时提高模型在所有任务上的性能，避免灾难性遗忘的问题。
10.3K21编辑于 2024-02-23 - 来自专栏自然语言处理(NLP)论文速递
澳门大学 | 提出神经元级高效微调方法：NeFT，秒杀LoRA，性能超全参微调（FPFT）！
为此，本文作者提出了一种神经元级高效微调方法：NeFT，它将参数训练粒度细化到单个神经元级别，性能上超过了全参数微调（FPFT）和高效参数微调（PEFT），开辟了大模型微调新方向。 然而，随着研究的深入，人们逐渐引入了参数高效微调（PEFT），例如：LoRA系列微调算法，该类方法主要基于层级模块化进行参数选择，旨在减少模型训练中的训练参数。 与以上方法不同，本文作者基于对模型可解释研究的理解，提出了神经元级别的模型微调方法：NeFT，该方法可以识别出模型中较为敏感的神经元，然后再对相关参数进行更新来提高模型性能。 然而，这种经验性的选择和逐层搜索非常耗时，而最近的进展集中在利用外部模块来更新所有层级参数，其中主要代表方法有适配器（Adapter）、LoRA、稀疏微调（Sparse Fine-Tuning）等方法。 提出了Neuron-Level Fine-Tuning (NeFT) 新型微调方法，如下图所示： NeFT主要分为「三个步骤」，其中包括模型准备、神经元选择、神经元微调。
75410编辑于 2024-04-12 - 来自专栏Datawhale专栏
Datawhale出品：《GLM-4 大模型部署微调教程》发布！
更多测评细节详见： GLM-4最新开源版本硬核测评！Datawhale成员万字测评（一） 开发者视角看GLM-4-9B！ 接入； WebDemo 部署； vLLM 部署； LoRA 高效指令微调。 ~ LoRA 高效指令微调 首先通过分析子词嵌入模板，从而构造指令微调数据。 进而通过对模型层级分析，判断高阶矩阵位置，从而使用 PEFT 工具对低秩转换层进行指定，开启 LoRA 微调。 最终查看微调效果: User: 小姐，别的秀女都在求中选，唯有咱们小姐想被撂牌子，菩萨一定记得真真儿的—— Assistant: 菩萨也会看错眼的时候。
1.8K20编辑于 2024-06-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号