机器之心专栏 机器之心编辑部 本文中，包括刘知远、唐杰、孙茂松等在内来自清华大学的研究者对大模型的参数高效微调进行了全方位的理论和实验分析。 预训练语言模型 (PLM) 已经毫无疑问地成为各种 NLP 任务的基础架构，而且在 PLM 的发展中，呈现出了一个似乎不可逆的趋势：即模型的规模越来越大。更大的模型不仅会在已知任务上取得更好的效果，更展现出了完成更复杂的未知任务的潜力。然而，更大的模型也在应用上面临着更大的挑战，传统方法对超大规模的预训练模型进行全参数微调的过程会消耗大量的 GPU 计算资源与存储
机器之心专栏 机器之心编辑部 近年来，清华大学计算机系孙茂松团队深入探索语言大模型参数高效微调方法的机理与特性，与校内其他相关团队合作完成的研究成果 “面向大规模预训练语言模型的参数高效微调”（Parameter-efficient Fine-tuning of Large-scale Pre-trained Language Models）3 月 2 日在《自然・机器智能》（Nature Machine Intelligence）上发表。该研究成果由计算机系孙茂松、李涓子、唐杰、刘洋、陈键飞、刘知远和深圳
前面一篇文章主要讲到NLP领域上的四种演变范式，同时引入了第四范式“Prompt”的概念。具体可以会看这里：
当前以 ChatGPT 为代表的预训练语言模型（PLM）规模变得越来越大，在消费级硬件上进行全量微调（Full Fine-Tuning）变得不可行。此外，为每个下游任务单独存储和部署微调模型变得非常昂贵，因为微调模型与原始预训练模型的大小相同。
在整个NLP领域，整个发展历程是朝着精度更高、少监督，甚至无监督的方向发展的。而 Prompt-Tuning是目前学术界向这个方向进军最新也是最火的研究成果。
在sql调优中使用dbms_sqltune是一个很高效的工具，如果说awr发现了性能问题sql,addm可以给出调优建议，sql monitor能够监控性能问题sql和执行计划，那么dbms_sqltune就是最后的优化顾问了，它给出的建议是经过深思熟虑的。而且相对来说更加 权威。尤其是对于老DBA而言，在这个地方其实就有些吃亏，因为这个功能着实太强大了，一般来说给出的建议都是非常中肯的，一般对于sql语句，大体有下 面几种形式的建议方式。 首先是发现统计信息问题，建议收集统计信息， 发现执行计划问题，会
SFT（Supervised Fine-Tuning）监督微调是指在源数据集上预训练一个神经网络模型，即源模型。然后创建一个新的神经网络模型，即目标模型。目标模型复制了源模型上除了输出层外的所有模型设计及其参数。这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。微调时，为目标模型添加一个输出大小为目标数据集类别个数的输出层，并随机初始化该层的模型参数。在目标数据集上训练目标模型时，将从头训练到输出层，其余层的参数都基于源模型的参数微调得到。
对“select owner, object_id, object_name from t where object_id=200000”这个sql定义调整任务：
env：：：： env_instance = create_environment(tuning_parameters) agent = eval(tuning_parameters.agent.type + '(env_instance, tuning_parameters)') def create_environment(tuning_parameters): env_type_name, env_type = EnvTypes().verify(tuning_parameters.env.t
随着预训练模型参数量越来越大，迁移学习的成本越来越高，parameter-efficient tuning成为一个热点研究方向。在以前我们在下游任务使用预训练大模型，一般需要finetune模型的所有参数。随着parameter-efficient tuning技术的发展，一些注入adaptor、prefix tuning、LoRA等成本更低的finetune方法被提出。那么各种各样的parameter-efficient tuning方法之间是否存在某些潜在的关系呢？ICLR 2022就有一篇相关的研究，从统一的视角理解现有的各类parameter-efficient tuning方法，并提出了一套迁移框架，可以实现更接近全量参数finetune效果的部分参数finetune。
这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品。和前两章微调LM和全部冻结的prompt模板相比，微调Prompt范式最大的区别就是prompt模板都是连续型（Embedding），而非和Token对应的离散型模板。核心在于我们并不关心prompt本身是否是自然语言，只关心prompt作为探针能否引导出预训练模型在下游任务上的特定能力。
如何将大模型应用落地到自己的业务或工作中？这篇文章整理了7种目前业内最常用的大模型应用方法，以及各个方法的代表论文。通过对各种应用大模型方法的特点对比，找到最适合自己场景的应用方法。
近两年来，随之Prompt-Tuning技术的发展，有诸多工作发现，对于超过10亿参数量的模型来说，Prompt-Tuning所带来的增益远远高于标准的Fine-tuning，小样本甚至是零样本的性能也能够极大地被激发出来，得益于这些模型的 参数量足够大 ，训练过程中使用了 足够多的语料 ，同时设计的 预训练任务足够有效 。最为经典的大规模语言模型则是2020年提出的GPT-3，其拥有大约1750亿的参数，且发现只需要设计合适的模板或指令即可以 实现免参数训练的零样本学习 。
本文介绍了在Caffe中如何进行fine-tuning，包括常见的方法和步骤。同时，还探讨了在处理小数据集和相似度较低的数据集时的注意事项。最后，提供了一些参考资源，以帮助读者更好地理解这一主题。
自然语言处理进入大语言模型（Large Language Model, LLM）时代之后，模型的参数量级越来越庞大，以稍早之前的GPT-3为例，它有175B即1亿7千5百万参数，而ChatGPT及后续模型则更大。一方面大语言模型解决自然语言处理任务所需的涌现能力确实需要如此量级的参数，另一方面如此巨大的参数会引起训练成本的急剧增加，甚至从消费级硬件角度来讲，用户全量训练大语言模型的参数的成本令人望而却步。大语言模型已经过pre-training阶段，于是就有学者提出是否能通过finetune一部分少量参数实现下游任务的精调，这催生了一系列PEFT（Parameter-Efficient Fine Tuning，PEFT，可译为参数高效精调）方法。
---- 新智元报道 来源：CVHub 作者：派派星 编辑：好困 【新智元导读】众所周知，迁移学习对于基础模型适应下游任务很重要。然而，对于许多的私有基础模型，数据所有者必须与模型所有者分享他们的数据以微调模型，这是非常昂贵的，并容易引起隐私问题（双向的，一个怕泄露模型，一个怕泄露数据）。此外，对大型基础模型进行微调是一项计算密集型的任务，这对于大多数下游用户来说是不现实的。 本文中，韩松团队提出了一个能够保护隐私且高效的迁移学习框架——Offsite-Tuning，可以将数十亿级参数的基础模型
SQL优化是Oracle数据库中比较难的部分，需要对Oracle数据库具备非常扎实的理论基础。但是在刚开始接触时，往往不能很好地将理论知识应用到实践，或者有了一定的思路，又不自信或不敢确定是不是正确的。那么如何入门将理论知识转化为实践经验？本文介绍一下基于ADDM与SQL tuning的SQL优化，希望入门学习者能够从中获取一定的收获。
BTrace是Java的安全可靠的动态跟踪工具。 它的工作原理是通过 instrument + asm 来对正在运行的java程序中的class类进行动态增强。也就是说btrace可以在Java程序运行时，动态地向目标应用程序的字节码注入追踪代码。
大规模视觉 Transformer （ViT）模型已经在广泛的下游视觉任务中展示出强大的泛化能力。将这些模型适配到特定任务的普遍方法是遵循先预训练后微调的范式，模型最初在大规模数据集上进行预训练，然后针对每个下游任务进行微调。然而，随着这些预训练的ViT模型规模的不断扩大[57; 7]，完全微调它们变得计算上更加密集。此外，在有限的下游数据集上进行微调时，还存在灾难性遗忘和过拟合的风险。
如果你想了解Fine-tunning和Embedding的区别，推荐看一下这个视频，讲的比较清楚。
[49]中提到的预训练和微调范式可以在同模态任务之间实现惊人的迁移学习，这在CV和NLP等领域已经得到证明。预训练模型通常由资源丰富且经验丰富的团队使用大量干净的数据进行训练。
VPT是一篇在视觉领域应用prompt tuning的文章，以往计算机视觉是先预训练好一个大模型，然后针对不同的下游任务去微调，VPT只需要引入少量的prompt参数（少于原来模型参数的1%）进行训练，就可以在很多下游任务上表现出比原来整体微调更好的效果。
机器之心报道 编辑：张倩、小舟 一直以来，GPT模型的语言生成能力有目共睹，但语言理解能力似乎略逊一筹。最近，清华、智源等机构的一项研究打破了这一刻板印象。 GPT-3 大型语言模型向我们展示了 AI 模型在生成自然语言文本方面的强大能力。从创作历史人物对话到总结电影再到编写代码，GPT-3 似乎无所不能。 然而，尽管 GPT-3 的输出在语法上是正确的，甚至在习惯用法上也令人印象深刻，但它对语言的理解似乎存在明显不足，以至于一些生成效果令人大跌眼镜。例如： 问：铅笔和烤面包机哪个更重？ 答：铅笔比烤面包
It is very easy for us to implement sql tuning by toad. We need to do is just give complex sql statement to toad. The article give you some examples to demonstrate how to tuning sql by toad for oracle.
Fine-tuning范式大家肯定都再熟悉不过，微调所有语言模型参数，而从gpt3出现之后提出的in-context learning，还是越来越火的prompt，fine-tuning 已经out of state了。而这篇文章就提出prefix-tuning的nlg训练方法。
Oracle 10g之后的优化器支持两种模式，一个是normal模式，一个是tuning模式。在大多数情况下，优化器处于normal模式。基于CBO的normal模式只考虑很小部分的执行计划集合用于选择哪个执行计划，因为它需要在尽可能短的时间，通常是几秒或毫秒级来对当前的SQL语句进行解析并生成执行计划。因此并不能保证SQL语句每次都是使用最佳的执行计划。而tuning模式则将高负载的SQL语句直接扔给优化器，优化器来自动对其进行详细的分析，调试并给出建议，这就是Oracle 提供的Automatic Tuning Optimizer，即自动调整优化器。Oracle 自动调整优化器通过SQL调优建议器(SQL tuning advisor)来体现。
动物的生物智能系统通过整合不同方式的信息并同时处理各种任务来感知世界。相比之下，当前的机器学习研究遵循特定于任务的范式，导致任务之间的协作效率低下，并且为新任务开发感知模型的边际成本较高。在本文中，作者提出了一种名为Uni-Perceiver的通用感知结构，该结构使用统一的建模和共享参数来处理各种模态和任务。
NLP中，预训练大模型Finetune是一种非常常见的解决问题的范式。利用在海量文本上预训练得到的Bert、GPT等模型，在下游不同任务上分别进行finetune，得到下游任务的模型。然而，这种方式的代价也很大，经常要对所有任务都保存一个完整的task-specific模型，随着预训练模型体积越来越大，这种方式会占用很多存储空间，当下游任务很多的时候要存储大量的预训练模型。同时，为每个任务finetune一个如此庞大的模型，训练资源的消耗也比较大。
当把问题定位到某个或某些SQL后，我们接下来就要针对不同的场景和条件，通过各种工具和方法进行SQL的分析，而针对不同的环境和场景，我们选择的工具可能也有所不同。
Prompt-tuning is an efficient, low-cost way of adapting an AI foundation model to new downstream tasks without retraining the model and updating its weights.
AI科技评论报道 编辑 | 陈大鑫 AI 科技评论 今天给大家介绍一篇想法简单但是很有意思的文章，是研究 fine-tuning 在 few-shot 任务上的工作机制，论文发表于AAAI 2021，作者来自于CMU，HKUST和 IIAI： 文章的动机非常明确： 如下图，在 few-shot 任务上，我们通常会有一个 base set（有大量数据）和一个 novel set（只有少量数据），base set 里面的数据类别跟 novel set 是没有重叠的。我们通常需要在base set上训练我们
说起fine-tuning，大家再熟悉不过了，NLP和CV领域基本都是各种预训练模型了。使用预训练模型最重要的一步就是fine-tuning，因为下游任务是多种多样的，所以每种下游任务都要有个副本，并且finetune会改变所有的参数。这篇论文<Prefix-Tuning:Optimizing Continuous Prompts for Genreration>就提出一个轻量级的替代方式，使得语言模型参数固定，优化一个较小的特定任务的向量(论文叫prefix).该方案是受到最近大火的Prompting的启发，仅仅用0.1%额外参数，就可以获得更好的表现。
随着大语言模型的流行，如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能，正好hugging face开源了一个PEFT库，让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析（二分类）去了解下参数有效微调。
随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。
paper：LoRA: Low-Rank Adaptation of Large Language Models（https://arxiv.org/pdf/2106.09685.pdf）
这篇文章主要是对EMNLP2021上的论文Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning进行讲解。论文标题有些抽象，但是用作者的话来说，这篇论文的思想可以归结为两个词：Child Tuning
这是个终极问题，因为优化本身的复杂性实在是难以总结的，很多时候优化的方法并不是用到了什么高深莫测的技术，而只是一个思想意识层面的差异，而这些都很可能连带导致性能表现上的巨大差异。 所以有时候我们应该先搞清楚需求到底是什么，SQL本身是否合理，这些思考很可能会使优化工作事半功倍。而本文是假设SQL本身合理，从Oracle提供给我们的一些技术手段来简单介绍下Oracle数据库，该如何使用一些现有的技术来优化一个SQL执行的性能。 确定需要优化的SQL文本及当前SQL执行计划 确定SQL涉及的所有表及其索引的相
Fine-tuning (微调) 是一个可以有效让ChatGPT 输出符合我们预期的方法。最近OpenAI 发表了GPT-3.5 模型的微调功能。在这一篇介绍文中，我们会先介绍微调的概念，接着讲解OpenAI 的Fine-tuning API 如何使用，最后会有实际的范例来讲解可以如何做好微调这件事。
ACL2022有一篇名为《\mathcal{Y}-Tuning: An Efficient Tuning Paradigm for Large-Scale Pre-Trained Models via Label Representation Learning》的投稿，从标题上就吸引了我的注意，不同于Fine-Tuning、Adapter-Tuning、Prompt-Tuning，这篇文章的创新之处在于，不调整输入文本特征与大规模预训练模型的参数，仅通过学习标签的特征，以往很少见到论文去学习标签的特征。虽然最终效果可能仍无法与微调相比，但它在节省计算成本方面有很大的优势，并有可能通过后续研究进一步提高性能
大家好，最近突然发现了一篇在专门应用于医学领域的LLaMA，名为Dr.LLaMA（太卷了太卷了），就此来分享下该语言模型的构建方法和最终的性能情况。
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf
今天巡检遇到数据库报错 ORA-07445 [qkaMarkQkn] 错误，数据库版本为 11204 (x86_64)，错误日志如下：
个人觉得2021年NLP最火的两个idea，一个是对比学习（Contrastive Learning），另一个就是Prompt
Prompt是当下NLP领域研究的热点之一，在ACL 2022中有很多prompt相关的工作。最近梳理了5篇ACL 2022中prompt的代表性工作，主要研究点集中在如何通过预训练或迁移学习生成更好的prompt，以及prompt在小样本学习、翻译、图文任务等场景中的应用。下面给大家分别介绍一下这5篇工作，也可以参考我之前更新的prompt相关文章。
作者：Hongyu Zhou, Xin Zhou, Zhiwei Zeng, Lingzi Zhang, Zhiqi Shen
自然语言处理领域正在经历着一场又一场的革命，各类技术层出不穷，不断的改变我们对文本的理解方式和文本生成方式。类似与蝴蝶效应，这场革命不仅提高了机器翻译、文本摘要、文本分类等任务的性能，还在各行各业引发了巨大的变革。越来越 多的行业AI化、智能化。在本小节，将介绍一些语言模型中的核心概念，为更好的理解大语言模型做铺垫。
今天阅读的是 OpenAI 2018 年的论文《Improving Language Understanding by Generative Pre-Training》，截止目前共有 600 多引用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
