Facebook AI发布KILT，这是知识密集型NLP任务的新基准

来源 | reddit

编辑 | 代码医生团队

人工智能研究人员在构建可以生成模仿自然语言的文本的模型方面取得了重大进步。最先进的技术性能如此之好，以至于有时很难将其输出与人的文字区分开。至关重要的下一步是使这些模型生成真实世界知识中的流利且扎实的文本。

KILT（知识密集型语言任务）可帮助AI研究人员和发烧友建立模型，以更好地利用现实世界的信息来完成各种各样的任务。结合11种广泛使用的公共数据集，KILT代表五项不同的任务：

• 事实核查
• 开放域问答
• 插槽填充
• 实体链接
• 对话框生成

因此，KILT成为第一个基准，它汇总了代表各种知识密集型任务的数据集。这11个数据集以单一格式组合在一起，并以整个Wikipedia语料库的可用预处理集合为基础。这样做是因为对大型语料库进行预处理是一个耗时的过程，并且会对模型的下游性能产生很大的影响。将所有数据集映射到单个语料库可以使研究工作更加方便，并且可以提高准确性，跨不同模型进行均衡评估。

将所有数据集映射到相同的语料库并使用统一的格式可以使探索转移学习和多任务学习方法变得更加容易。

将KILT中的所有数据集与最新的Wikipedia快照（即单个知识源）对齐，可以帮助促进针对知识密集型任务的统一且与任务无关的体系结构的研究。使用不同的任务特定解决方案还可以简化实验。

考虑到单个输出和用于生成它的特定信息，我们评估模型如何在基于知识的任务上执行。KILT基准测试包括映射可以解决任务的正确知识，即出处信息。对于一些工作，我们通过注释活动使出处注释更全面。出处和输出一起使评估模型证明预测和准确性的能力成为可能。

总而言之，如今自然语言处理模型已用于现实世界的AI应用程序中。KILT促进了改进这些模型并最终构建对我们的（现实）世界有深入了解的机器所需的研究。

GitHub：

https://github.com/facebookresearch/KILT

论文：

https://arxiv.org/abs/2009.02252

指南：

https://ai.facebook.com/tools/kilt/