首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    每日论文速递 | NLP大佬们联合发文,倡导使用检索增强模型RA-LMs

    摘要:参数化语言模型(LMs)通过在大量网络数据上进行训练,展现出了显著的灵活性和能力。然而,它们仍然面临着诸如幻觉、难以适应新数据分布以及缺乏可验证性等实际挑战。在这篇立场论文中,我们主张将检索增强型LMs作为下一代LMs取代参数化LMs。通过在推理过程中结合大规模数据存储,检索增强型LMs可以更加可靠、适应性强,并且具有可归因性。尽管具有潜力,但检索增强型LMs由于几个障碍尚未被广泛采用:具体来说,当前的检索增强型LMs在超出知识密集型任务(如问答)的文本利用方面遇到困难,检索和LM组件之间的互动有限,缺乏用于扩展的基础设施。为了解决这些问题,我们提出了开发通用检索增强型LMs的路线图。这涉及重新考虑数据存储和检索器,探索具有改进的检索器-LM交互的流水线,并且在高效训练和推理的基础设施上进行重大投资。

    01

    基于大型语言模型的文本属性图特征

    今天为大家介绍的是来自Bryan Hooi团队的一篇论文。近年来,文本属性图(TAGs)上的表示学习已成为一个关键的研究问题。一个典型的TAG例子是论文引用图,其中每篇论文的文本作为节点属性。大多数图神经网络(GNN)流程通过将这些文本属性转换成浅层或手工制作的特征来处理。近期的努力集中在使用语言模型增强这些流程。随着强大的大型语言模型(LLMs)如GPT的出现,这些模型展现了推理能力和利用通用知识的能力,因此需要技术将LLMs的文本建模能力与GNNs的结构学习能力结合起来。在这项工作中,作者专注于利用LLMs捕获文本信息作为特征,这些特征可以用来提升GNN在下游任务上的表现。

    01

    每日论文速递 | 语言模型的最优学习

    摘要:这项工作研究了改善语言模型(LM)学习的一般原则,旨在减少必要的训练步骤,以实现卓越的性能。具体来说,我们提出了一个理论的LM的最佳学习。我们首先提出了一个目标,通过最大限度地提高数据压缩比,在“LM训练无损压缩”视图中优化LM学习。然后,我们推导出一个定理,命名为学习律,以揭示在我们的目标下的最优学习过程中的动力学性质。然后通过线性分类和真实世界语言建模任务的实验验证了该定理。最后,我们的经验验证,最佳学习的LM本质上源于改进的系数的缩放律的LM,表明很大的承诺和意义,设计实用的学习加速方法。我们的代码可以在https://aka.ms/LearningLaw上找到。

    01

    每日论文速递 | 【ICLR24】用语言模型预测表格Tabular

    摘要:深度神经网络(DNNs)的可迁移性在图像和语言处理领域取得了显著进展。然而,由于表格之间的异构性,这种DNN的优势在表格数据预测(例如回归或分类任务)方面仍未充分利用。语言模型(LMs)通过从不同领域提炼知识,具有理解来自各种表格的特征名称的能力,有望成为在不同表格和多样化预测任务之间转移知识的多才多艺的学习者,但它们的离散文本表示空间与表格中的数值特征值不兼容。在本文中,我们介绍了TP-BERTa,这是一个专门针对表格数据预测进行预训练的LM模型。具体而言,一种新颖的相对大小标记化将标量数值特征值转换为精细离散的高维标记,而一种内部特征注意方法则将特征值与相应的特征名称集成在一起。全面的实验证明,我们的预训练TP-BERTa在表格DNNs中表现出色,并且在典型的表格数据领域与梯度提升决策树模型相竞争。

    01
    领券