ACL2024 | 大型语言推荐模型中协同信息的类文本编码

TLDR: 集成协同信息在大语言推荐系统模型中至关重要。现有方法或从大语言模型的潜在空间中学习或直接通过映射以得到嵌入。然而，其不能以类似文本的格式来表示信息，难以与大语言模型最佳地对齐。为此，本文引入了BinLLM方法，以通过类似文本编码的形式无缝地集成协同信息。

论文：arxiv.org/abs/2406.03210 代码：github.com/zyang1580/BinLLM

无论是在大语言模型的词元（token）嵌入空间中从头学习协同信息，还是从模型外部映射得到协同信息，得到的表示都与大语言模型原始的文本级编码表示存在很大差异，这将会影响对大语言模型的利用。

因此，关键在于将协同信息转换为文本等序列格式。这种文本序列不需要人类可以理解，能被大语言模型解释即可。为此，本文提出了BinLLM方法，其使用类似文本的编码策略将协同信息集成到大语言模型中。具体而言，将从外部模型获得的协同嵌入转换为二进制序列，以作为大语言模型直接可用的文本特征。

模型架构如下，紫线表示填充提示模板中的文本字段，以引入物品标题等文本信息，而红线表示填充提示模板中的ID字段，以引入协同信息。

此外，本文使用点十进制记数法来表示二进制序列以实现压缩效果，其类似于将二进制序列转换为IPv4地址。通过使用包含这种编码的协同信息的推荐指令数据来微调大语言模型，可以在不修改大语言模型的情况下利用文本语义和协同数据来进行推荐，提升推荐性能。

大量的实验证明，BinLLM以一种与大语言模型更好地结合的方式引入协同信息，从而提高了性能。

与基准方法相比，除了在UAUC指标上不如CoLLM-DIN外，BinLLM总体上实现了最佳性能。这可能因为CoLLM-DIN采用了更先进的协同过滤模型，而BinLLM仅依赖于矩阵分解。总之，这些结果证实了BinLLM利用协同信息和大语言模型能力可以实现更好的推荐性能。

在非冷启动场景下，所有大语言推荐模型中，不考虑协同信息的TALLRec方法性能比矩阵分解差，而CoLLM和BinLLM的性能都优于矩阵分解，其中BinLLM的性能最好。这些结果表明，协同信息对非冷启动性能至关重要。在冷启动场景下，所有大语言推荐模型的性能都优于矩阵分解，证实了其在冷启动场景下的优越性。此外，在大多数情况下，与CoLLM相比，BinLLM可以提高冷启动性能，这可能是由于二值化嵌入具有更好的泛化能力。

通过消融实验，也证明了在大语言推荐模型中同时考虑文本信息和协同信息的重要性。

此外，将二进制协同信息序列压缩前后的BinLLM模型性能大致相当，且压缩后的序列可以缓解大语言模型不擅长处理长序列的问题。