- 综合排序
- 最热优先
- 最新优先
- 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 理解 P-tuning v2 微调方法，首先需要了解 prefix-tuning 微调方法和 P-tuning v1 微调方法。 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 3.3 P-tuning v2 微调方法优点 P-tuning v2 微调方法解决了 P-tuning v1 方法的缺陷，是一种参数高效的大语言模型微调方法。
9.8K66编辑于 2023-10-11 - 来自专栏NLP/KG
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术：SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概念 SFT（Supervised P-tuning v2 微调方法 3.1 P-tuning v2 微调方法的相关技术 传统的微调方法需要微调整个预训练语言模型，对于大语言模型的微调需要大量的资源和时间，急需更加高效的微调方法。 理解 P-tuning v2 微调方法，首先需要了解 prefix-tuning 微调方法和 P-tuning v1 微调方法。 3.2 P-tuning v2 微调方法的原理 P-tuning v2 微调方法是 P-tuning v1 微调方法的改进版，同时借鉴了 prefix-tuning 微调的方法。 3.3 P-tuning v2 微调方法优点 P-tuning v2 微调方法解决了 P-tuning v1 方法的缺陷，是一种参数高效的大语言模型微调方法。
24.7K07编辑于 2023-07-16 - 来自专栏腾讯技术工程官方号的专栏
大模型微调方法总结
目前该技术已经广泛应用于大模型的微调，如 Alpaca，stable diffusion+LoRA，而且能和其它参数高效微调方法有效结合，例如 State-of-the-art Parameter-Efficient Adapter 方法不需要微调预训练模型的全部参数，通过引入少量针对特定任务的参数，来存储有关该任务的知识，降低对模型微调的算力要求。 作者对全模型微调(Full)、Adapter、AdapterFusion 三种方法在各个数据集上进行和对比试验。 AdapterFusion 在大多数情况下性能优于全模型微调和 Adapter，特别在 MRPC(相似性和释义任务数据集)与 RTE(识别文本蕴含数据集)中性能显著优于另外两种方法。 （ y ）的拼接，模型自回归地生成： 对于摘要任务，本文使用 BART 模型，编码器输入 source 文本 x ，解码器输入 target 黄金摘要（ y ），模型预测摘要文本： 实现 在传统微调方法中
2.8K42编辑于 2023-07-26 - 来自专栏自然语言处理(NLP)论文速递
北航&北大 | 提出统一微调框架，整合前沿微调方法，可支持100多种LLMs的微调！
为了能够实现对大模型的高效微调，本文作者提出了一个统一的大模型微调框架：LLAMAFACTORY，该框架整合了一系列前沿的高效微调方法，支持对100多种大模型的微调。 LLAMAFACTORY微调方法 LLAMAFACTORY框架中的高效微调技术（Efficient Fine-Tuning Techniques）主要分为两大类：优化方法和计算方法。 优化方法 「冻结微调（Freeze-tuning）」：这种方法涉及冻结大部分参数，同时在解码器的一小部分层中进行微调。这样可以在保持模型大部分结构不变的情况下，仅对关键部分进行更新。 它通过集成最新的高效微调技术，提供了一种独立于具体训练任务的微调方法，并且能够通过DeepSpeed进一步降低内存消耗。 这突出了这些高效微调方法在适应特定任务方面的有效性。
1.1K11编辑于 2024-03-26 - 来自专栏Hank’s Blog
4-2 R语言函数 apply
#apply函数，沿着数组的某一维度处理数据 #例如将函数用于矩阵的行或列 #与for/while循环的效率相似，但只用一句话可以完成 #apply(参数)：apply(数组,维度,函数/函数名) > x <- matrix(1:16,4,4) > x [,1] [,2] [,3] [,4] [1,] 1 5 9 13 [2,] 2 6 10 14 [3,] 3 7 11 15 [4,] 4 8 12 16 >
61910发布于 2020-09-16 - 来自专栏AI进修生
微调LLMs：概述、方法和最佳实践（附天工Skywork-13B微调）
如果这些方法仍然不够理想，就需要微调。 微调特别适用于需要模型在特定领域或任务上更精准时。预训练模型通用性强，但在处理专业任务时可能不理想。 增强推理能力 微调不仅可以增强模型的词语关联能力，还能教会模型更多推理技巧和方法，使其在处理复杂问题时进行更深入的逻辑分析和推理。 主要微调方法 微调方法可以分为全量微调和参数高效微调。 在微调策略方面，我们有有监督微调和基于人类反馈的强化学习，这两种策略都可以应用于全量微调和参数高效微调。 因此，参数高效微调是一种策略，其具体实现可以通过增加式、选择式和重新参数化方法来完成。 参数高效微调技术分类 • 增加式方法 • 选择式方法 • 重新参数化方法 1. 微调技术总览 全量微调 (Full Fine Tuning, FFT) 在全量微调中，模型的所有参数都会进行重新训练。 微调方法分类 有监督微调 (Supervised Fine Tuning, SFT) 通过标注数据指导模型的学习，使模型在特定任务上进行优化。
78110编辑于 2024-12-02 【大模型微调】一文掌握5种大模型微调的方法
一、大模型微调的基础理论在探索具体方法之前，我们首先需要建立一个清晰的认知框架，理解大模型微调在整个AI模型生命周期中所扮演的角色。 二、大模型微调的底层架构要深入理解各类微调方法的工作原理，我们首先需要深入审视其赖以生存的土壤——Transformer架构。 本文将重点介绍五种具有代表性的微调方法，它们共同勾勒出从传统到前沿的技术演进脉络。 除上述方法外，还有像IA³（通过缩放激活值来微调）、BitFit（仅偏置项微调）等新兴技术，也因其独特的思路和更极致的效率值得探索。 通过五种主流方法，我们看到了从全参数微调到参数高效微调的清晰技术演进路径，每种方法都在效率与效果之间提供了不同的平衡点。
2.6K40编辑于 2025-10-23- 来自专栏深度学习自然语言处理
每日论文速递 | 当缩放遇到LLM微调:数据、模型和微调方法的影响
，但我们对不同微调方法的归纳偏差（特别是缩放属性）的理解仍然有限。 微调方法的选择：论文希望揭示微调方法的选择对于下游任务的影响，以及如何根据任务和数据来选择最优的微调方法。 参数高效的方法（Parameter-Efficient Methods）：研究者们开发了各种参数高效的方法，以在不显著增加参数数量的情况下，实现对预训练模型的有效微调。 然而，对于不同微调方法的归纳偏差，尤其是缩放属性，目前的理解还很有限。 微调的最优方法高度依赖于任务和微调数据，使得为下游任务选择最佳微调方法变得复杂。 LLM基于微调的方法能够鼓励零样本泛化到相关任务，且PET表现优于FMT。
90410编辑于 2024-03-02 - 来自专栏AI
微调
可以进行微调的模型有哪些？GPT-4的微调目前处于实验性访问计划中 - 符合条件的用户可以在创建新的微调任务时在微调界面上申请访问权限。 ），我们会看到最佳结果我们的提示工程指南提供了一些最有效的策略和方法的背景，可以在不进行微调的情况下获得更好的性能。 此外，早期构建测试集将有助于确保您能够在训练后评估模型，方法是在测试集上生成样本。令牌限制令牌限制取决于您选择的模型。 在数据质量上进行迭代如果微调作业的结果不如您预期的那样好，请考虑以下调整训练数据集的方法：收集示例以解决剩余问题如果模型在某些方面仍然表现不佳，请添加直接展示模型如何正确执行这些方面的训练示例仔细检查现有示例是否存在问题如果您的模型存在语法 我可以继续微调已经微调过的模型吗？是的，您可以在创建微调作业时将已微调模型的名称传递给模型参数。这将以已微调模型为起点开始一个新的微调作业。我如何估计微调模型的成本？请参考上文中的成本估算部分。
61510编辑于 2024-04-20 - 来自专栏云云众生s
微调还是提示工程才是AI的正确方法？
让我们探讨这两种方法之间的差异，从早期采用者那里学习，并概述大规模微调的基础设施要求。 当与检索增强生成 (RAG)（它集成了外部知识库）结合使用时，这种方法可以动态地丰富模型输出，使其成为一种经济高效且适应性强的解决方案。 这就是微调的优势所在。 微调：解锁模型定制 微调涉及使用特定领域的数据集重新训练基础模型，并调整模型的权重，以更好地适应独特的工作流程。 为什么微调越来越受欢迎 随着企业意识到通过为特定需求定制 AI 模型来交付更好结果的潜力，微调正变得越来越流行。这不仅仅是访问 GPU — 而是通过使微调更容易的新工具，充分利用专有数据。 第 4 步：微调和模型开发 设置好基础设施后，AI 团队可以专注于真正的工作：微调和构建模型。
37110编辑于 2025-02-12 - 来自专栏深度学习与python
谷歌开源 AI 微调方法： Distilling Step-by-Step
逐步蒸馏的关键思想是使用 LLM 自动生成一个小型微调数据集，其中的数据有一个输入和一个输出标签，以及选择这个输出标签的“理由”。微调过程会训练这个小模型来预测输出标签并生成对应的理由。 在 NLP 基准上评估时，小型微调模型的性能优于 540B PaLM 模型，同时仅需要这个基准测试的全部微调数据的 80%。 要做出在特定任务上表现良好的小模型的一种方法，是使用针对具体任务收集的数据集来微调小规模语言模型。虽然这个数据集可能相对较小（大约有数千个示例），但其数据收集起来可能还是费时费钱。 逐步蒸馏确实需要微调数据集，但它减少了创建高性能模型所需的数据量。源数据集通过思维链提示输入 PaLM LLM，要求模型给出其答案的理由。输出结果是修正后的微调数据集，其中包含原始输入和答案以及理由。 这个较小的目标模型经过微调来执行两项任务：回答原始问题并生成理由。 谷歌使用四个 NLP 基准测试评估了他们的技术，每个基准都包含一个微调数据集。
49821编辑于 2023-11-09 - 来自专栏Java
试题 算法训练 4-2找公倍数
试题 算法训练 4-2找公倍数 资源限制 内存限制：256.0MB C/C++时间限制：1.0s Java时间限制：3.0s Python时间限制：5.0s 问题描述 这里写问题描述。
14710编辑于 2025-01-21 - 来自专栏coding for love
4-2 Development 和 Production 模式的区分打包
接上节4-1 Tree Shaking 概念详解末尾，我们可以看到，在 mode 进行切换时，webpack.config.js 的配置也是不一样的。这很好理解，开发环境中我们更多地是考虑开发和调试方便，生产环境我们更多考虑性能。但我们总不会每次切换环境的时候，还要手动去更改配置吧。最简单就是保存两份配置，对应不同的环境。
79540发布于 2020-02-24 - 来自专栏趣学算法
数据结构 第4-2讲 双向链表
数据结构第4-2讲双向链表 链表是线性表的链式存储方式，逻辑上相邻的数据在计算机内的存储位置不一定相邻，那么怎么表示逻辑上的相邻关系呢？ 可以给每个元素附加一个指针域，指向下一个元素的存储位置。
83540发布于 2018-09-13 - 来自专栏自然语言处理(NLP)论文速递
深入了解 大语言模型（LLM）微调方法（总结）
其中主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。 有监督微调(SFT) 有监督微调意味着使用标记数据更新预先训练的语言模型来完成特定任务。所使用的数据已提前检查过。这与不检查数据的无监督方法不同。 微调方法 LLM微调是一个有监督学习过程，主要使用标注数据集来更新LLM的权重，并使模型提高其特定任务的能力。接下来将为大家介绍一些值得注意的微调方法。 「4、多任务学习」：多任务微调是单任务微调的扩展，训练数据集包含多个任务的输入和输出示例。这种方法可以同时提高模型在所有任务上的性能，避免灾难性遗忘的问题。 「RAG与微调的关系」 在语言模型的背景下，RAG和微调通常被视为竞争方法。然而，它们的结合使用可以显著提高性能。
10.3K21编辑于 2024-02-23 - 来自专栏sringboot
x86汇编加载用户程序-4-2
索引寄存器的端口号是 0x3d4，可以向它写入一个值，用来指定内部的某个寄存器。比如， 两个 8 位的光标寄存器，其索引值分别是 14（0x0e）和 15（0x0f），分别用于提供光标位置的高 8 位和低 8 位。 指定了寄存器之后，要对它进行读写，这可以通过数据端口 0x3d5 来进行。 高八位 和第八位里保存这光标的位置，显卡文本模式显示标准是25x80，这样算来，当光标在屏幕右下角时，该值为 25×80－1=1999
83630编辑于 2021-12-06 - 来自专栏自然语言处理(NLP)论文速递
澳门大学 | 提出神经元级高效微调方法：NeFT，秒杀LoRA，性能超全参微调（FPFT）！
为此，本文作者提出了一种神经元级高效微调方法：NeFT，它将参数训练粒度细化到单个神经元级别，性能上超过了全参数微调（FPFT）和高效参数微调（PEFT），开辟了大模型微调新方向。 然而，随着研究的深入，人们逐渐引入了参数高效微调（PEFT），例如：LoRA系列微调算法，该类方法主要基于层级模块化进行参数选择，旨在减少模型训练中的训练参数。 与以上方法不同，本文作者基于对模型可解释研究的理解，提出了神经元级别的模型微调方法：NeFT，该方法可以识别出模型中较为敏感的神经元，然后再对相关参数进行更新来提高模型性能。 然而，这种经验性的选择和逐层搜索非常耗时，而最近的进展集中在利用外部模块来更新所有层级参数，其中主要代表方法有适配器（Adapter）、LoRA、稀疏微调（Sparse Fine-Tuning）等方法。 提出了Neuron-Level Fine-Tuning (NeFT) 新型微调方法，如下图所示： NeFT主要分为「三个步骤」，其中包括模型准备、神经元选择、神经元微调。
75410编辑于 2024-04-12 XTuner 微调
xtuner train 命令用于启动模型微调进程。该命令需要一个参数：CONFIG 用于指定微调配置文件。 对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。 增量预训练微调 定义一些基本方法。 导入必要的库 import torch from transformers import AutoTokenizer, AutoModelForCausalLM 定义模型加载方法 def load_model tree -l 准备配置文件 在准备好了模型和数据集后，我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了，从而减少我们对配置文件的修改量。
41510编辑于 2024-10-10- 来自专栏对白的算法屋
当我在微调的时候我在微调什么？
微调效果到底好不好，微调之后的词向量表示是否有效，可以直接用针对下游任务的分类器的准确度来衡量。只有微调效果足够好时，分类效果才够准。 DIRECTPROBE 基于聚类的探针。 通过比较微调前后不同簇之间的距离，可以量化微调之后的词向量表示的变化。 分类器探针接到BERT输出层，跟着BERT一起微调。为了降低微调过程中不稳定性的影响，同一个任务作者使用不同的初始化参数进行了五次微调。 使用原始train对BERT~small~进行微调，微调前后均只使用subtrain训练分类器。分类器的训练不参与微调。 如下图所示，微调前分类器在subtest和test上的学习曲线一致。 另外，除了实验结论外，本文实验方法和可视化分析也非常值得学习~ 你好，我是对白，硕士毕业于清华，现大厂算法工程师，拿过八家大厂的SSP级以上offer。 高中荣获全国数学和化学竞赛二等奖。
2.1K10编辑于 2022-04-01 - 来自专栏AI理论与前沿
对于大模型，到底微调还是不微调？
表 1：在 Llama 2 7B 上使用不同微调方法（[来源](https://github.com/pytorch/torchtune? 我们提供三个示例：微调 LLM 以更好地使用或忽略来自检索器的上下文微调 LLM 评审模型来评估其他 LLM 的指标，如扎根性、合规性或有用性微调 LLM 来增加上下文窗口2 微调与其他领域适应技术的比较 然而，我们认为这种范式过于简化，因为在多个场景下，RAG 不仅不是微调的替代方案，反而更多的是微调的补充方法。根据问题的特性，可能需要尝试一种或两种方法。 对于这些类型的需求，微调通常是正确的方法。你的应用程序对幻觉有多宽容？在压制虚假信息和想象性编造至关重要的应用中，RAG 系统提供了内置的机制来最小化幻觉。有多少标注的训练数据可用？ 如果问题需要访问动态的数据语料库，微调可能不是正确的方法，因为 LLM 的知识可能很快变得过时。LLM 应用程序需要多大的透明性/可解释性？
84900编辑于 2024-09-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号