当推荐系统遇到大模型

本文整理了2023年以来，ChatGPT等语言大模型在推荐系统中的应用。基于大模型的推荐系统，与传统的推荐系统差异非常大，如果大模型推荐系统能取得成功，势必会对原来的推荐系统造成不小的冲击。截止到目前为止，已经有多篇文章初步探讨和尝试了ChatGPT等大模型在推荐系统中的应用。总体来看，ChatGPT在推荐系统中的应用有不小的潜力，主要体现在以下几个方面：

任务统一：所有类型的推荐任务都可以表述成文本，实现了推荐任务大统一，使用统一语言模型进行各个场景和任务上的推荐，有效解决多任务多场景问题。

小样本和冷启动问题：传统推荐系统中，小样本和冷启动是一个比较常见的问题，而大模型天然具备很强的语义泛化能力和小样本学习能力。

基础的推荐能力验证：多篇文章已经验证了ChatGPT等模型在推荐系统中应用是可行的，即使不在下游任务finetune，也能取得不错的效果。

下面汇总了2023年1月份到5月份大模型在推荐系统中应用的6篇文章。

Recommendation as language processing (rlp): A unified pretrain, personalized prompt & predict paradigm（2023.1.2）

P5将各类推荐任务通过prompt的形式全都转换成统一的文本，然后利用这些文本训练一个Transformer Encoder-Decoder模型。P5利用语言模型解决推荐系统问题，由于各种推荐系统任务都能表述成文字，使得统一建模各类推荐系统任务成为了可能。

P5各类任务的prompt构造方法如下，针对每种任务设计一个prompt模板，对于商品信息、用户信息等，直接将id作为本文输入。P5在这种文本上训练，对于商品和用户id相当于都当成一个独立的词进行embedding的学习。

Chat-REC: Towards Interactive and Explainable LLMs-Augmented Recommender System（2023.4.4）

Chat-REC将ChatGPT应用到推荐系统中，验证了大模型在一般推荐场景、跨域推荐、冷启动推荐等场景下都有着不错的表现。Chat-REC实现的核心是，将包括用户特征、搜索词、用户和item的历史交互信息、历史对话信息等一系列信息，输入到一个Prompt Constructor中，自动生成一个prompt。这个prompt输入到ChatGPT中，让ChatGPT生成推荐结果，或者解释推荐利用。

通过这种方式，让推荐系统能够产生可解释的推荐结果，例如在对话过程中，可以询问对话系统推荐的原因，prompt会将推荐系统给到的结果和用户的问题输入Prompt Constructor，生成新的prompt，让ChatGPT生成对应的解答。Chat_REC整体利用了ChatGPT优化原有的推荐系统，让其能够实现更丰富的用户和推荐系统的交互。

A First Look at LLM-Powered Generative News Recommendation（2023.5.11）

这篇文章利用大模型来提升新闻推荐系统对的效果。新闻推荐系统中存在很多挑战，一方面新闻标题可能不包含新闻实际内容的关键词，需要更深入的语义理解；另一方面对于用户特征缺失、冷启动等情况，推荐效果也会变差。

这篇文章利用大模型进行title扩展、用户特征生成、解决冷启动等问题。下图为文中构造的prompt，用来进行3方面的数据扩充。为了在新闻标题中补充更丰富的信息，设计了一个摘要prompt，根据title和新闻信息生成扩展后的title。为了补充用户特征，利用用户历史的浏览行为，生成指定的相关特征。最后，对于冷启动用户，利用用户少量的历史浏览行为，让大模型生成更多用户可能感兴趣的新闻信息。

在得到上述各类扩展信息后，利用扩展出的数据进行下游新闻推荐系统模型的训练。

Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation（2023.5.12）

这篇文章主要研究的是利用大模型进行推荐时，是否存在公平性问题。这里的公平性问题指的是，用户侧一些敏感属性的特征，可能会引起大模型产出不公平的推荐结果，因为大模型经过大规模语料进行训练，其中会存在这样的有偏信息。为了对这个问题进行实验和验证，本文构建了一个大模型推荐系统公平性的benchmark，在评估时基础做法是生成一些instruction产出推荐结果，再在instruction中插入各种敏感词对比推荐结果，判断推荐结果因为敏感词插入造成的差异大小。差异越大，说明大模型用于推荐系统存在的不公平现象越严重。

Is ChatGPT a Good Recommender? A Preliminary Study（2023.4.20）

这篇文章通过5种类型的推荐任务评估ChatGPT在推荐系统中应用的效果。这5个任务包括rating prediction、sequential recommendation、direct recommendation、explanation generation、review summarization等。王文忠针对这5种任务分别设计了相应的prompt，输入到ChatGPT中生成预测结果。

5种任务的prompt构造例子如下，每个prompt都包含任务描述、格式声明以及一些user和item交互的例子，以给ChatGPT提供few-shot信息。

从推荐系统准确率相关指标来看（如hitrate等），ChatGPT在rating任务上表现比较好，但是在其他任务上表现比较差。但是如果人工评估的话，ChatGPT的结果是比较好的，这说明使用推荐系统指标评估ChatGPT也是有局限性的。同时，文中的ChatGPT并没有在推荐系统数据上进行finetune，就能达到这样的效果，也表明了ChatGPT在推荐系统中的落地是非常有潜力的。

Uncovering ChatGPT’s Capabilities in Recommender Systems（2023.5.11）

本文尝试挖掘ChatGPT在推荐系统中3类任务的能力，包括point-wise、pair-wise、list-wise三类推荐系统面临的给定user推荐item的任务。针对这3类任务，文中构造了如下3类prompt。每类prompt包括任务描述、例子、当前的问题三个部分。3类任务的prompt主要差别是当前问题的组织形式，point-wise就直接问ChatGPT打分是多少，pair-wise给两个item让模型做对比，list-wise则是对item做排序。

整体的实验结果如下，主要是对比了ChatGPT和一些基础推荐方法（随机推荐、根据商品流行度推荐）的差异，初步能够证明ChatGPT是具备一定的推荐能力的，其中在list-wise类型的任务上能获得最高的性价比。