TLDR: 本文介绍了一个开源大模型推荐评测平台OpenP5,旨在促进用于研究的基于大模型生成式推荐系统的开发、训练和评估。
论文:https://arxiv.org/abs/2306.11134 代码:https://github.com/agiresearch/OpenP5
近年来,将大语言模型集成到推荐系统中引起了工业界和研究人员的兴趣。尽管目前已经有很多相关的研究,但该领域仍处于兴起阶段,且缺乏开源的统一研发平台。上述局限性可能会阻碍基于大模型推荐研究的探索。
本文提出了一个开源平台OpenP5,旨在促进用于研究目的的基于大模型的生成式推荐系统的开发、训练和评估。该平台在10个广泛认可的公共数据集上进行实验。
另外,OpenP5使用编码器-解码器大模型(如T5)和仅解码器的大模型(如Llama-2)实现,满足了两个基本的推荐任务:序列推荐和直接推荐。下图展示了不同推荐任务所对应的提示的不同。
认识到物品ID在基于大模型的推荐中的重要作用,我们还在OpenP5平台中纳入了三种物品索引方法:随机索引、顺序索引和协同索引。该平台建立在Transformers库之上,便于为用户定制基于大模型的推荐模型。OpenP5拥有一系列功能,包括可扩展的数据处理、以任务为中心的优化、全面的数据集和检查点、高效加速和标准化评估,使其成为实现和评估基于大模型推荐系统的工具。
下表展示了OpenP5相比于基线方法的优越性,并探索了在不同大模型基础上的实验效果。