首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    每日论文速递 | BiLoRA: 基于双极优化消除LoRA过拟合

    摘要:低秩适应(LoRA)是在下游任务中通过学习低秩增量矩阵对大规模预训练模型进行微调的一种流行方法。虽然与完全微调方法相比,LoRA 及其变体能有效减少可训练参数的数量,但它们经常会对训练数据进行过拟合,导致测试数据的泛化效果不理想。为了解决这个问题,我们引入了 BiLoRA,这是一种基于双级优化(BLO)的消除过拟合的微调方法。BiLoRA 采用伪奇异值分解来参数化低秩增量矩阵,并将伪奇异向量和伪奇异值的训练分成两个不同的训练数据子集。这种分割嵌入了 BLO 框架的不同层次,降低了对单一数据集过度拟合的风险。BiLoRA 在涵盖自然语言理解和生成任务的十个数据集上进行了测试,并应用于各种著名的大型预训练模型,在可训练参数数量相似的情况下,BiLoRA 明显优于 LoRA 方法和其他微调方法。

    01

    广告行业中那些趣事系列3:NLP中的巨星BERT

    摘要:上一篇广告行业中那些趣事系列2:BERT实战NLP文本分类任务(附github源码)通过项目实战讲解了如何使用BERT模型来完成文本分类任务。本篇则从理论的角度讲解BERT模型的前世今生。BERT虽然在模型创新的角度来说并不是非常出色,但它是近几年NLP领域杰出成果的集大成者。BERT大火最重要的原因是效果好,通用性强两大优点。可以说BERT的出现是NLP领域里具有里程碑意义的大事件。本篇主要讲解NLP里面的Word Embedding预训练技术的演化史,从最初的Word2Vec到ELMO、GPT,再到今天的巨星BERT诞生,还会讲解如何改造BERT模型去对接上游任务以及BERT模型本身的创新点。

    03
    领券