LLM个性化功能加剧迎合行为风险

个性化功能或使大语言模型更易迎合用户

长期对话的上下文可能导致大语言模型开始镜像用户的观点，这可能会降低准确性或形成一个虚拟的回音室。

许多最新的大语言模型（LLM）被设计为能够记住过往对话的细节或存储用户画像，从而使这些模型能够个性化回复。但来自某机构和某大学的研究人员发现，在长对话中，此类个性化功能通常会提高LLM过度迎合或镜像用户个人观点的可能性。

这种现象被称为“迎合行为”，它会阻止模型告知用户其错误，从而侵蚀LLM回复的准确性。此外，镜像用户政治信仰或世界观的LLM可能会助长错误信息，并扭曲用户对现实的感知。

与许多过去在实验室环境中无上下文评估提示的迎合行为研究不同，该机构的研究人员收集了人类在日常生活中的两周内与真实LLM交互的对话数据。他们研究了两种场景：个人建议中的迎合行为和政z解释中对用户信仰的镜像。

尽管交互上下文增加了他们所研究的五个LLM中四个的迎合性，但模型内存中存在压缩的用户画像影响最大。另一方面，只有当模型能够从对话中准确推断用户信仰时，镜像行为才会增加。

研究人员希望这些结果能激发未来的研究，以开发出对LLM迎合行为更具鲁棒性的个性化方法。

“从用户角度来说，这项工作强调了理解这些模型是动态的、其行为会随你长时间交互而变化是多么重要，”该论文的主要作者说，“如果你长时间与一个模型对话并开始将自己的思考外包给它，你可能会发现自己陷入一个无法逃脱的回音室。用户绝对应该记住这个风险。”

扩展交互

基于他们自己与LLM交互时的迎合体验，研究人员开始思考一个过度迎合的模型可能带来的潜在好处和后果。但当他们查阅文献以扩展分析时，没有发现有研究试图理解长期LLM交互中的迎合行为。

“我们通过扩展交互来使用这些模型，它们拥有大量的上下文和内存。但我们的评估方法滞后了，”另一位作者说，“我们想按照人们实际使用的方式评估LLM，以理解它们在真实环境中的行为。”

为填补这一空白，研究人员设计了一项用户研究，探索两种迎合类型：一致性迎合和观点迎合。

一致性迎合是指LLM过度友善的倾向，有时甚至到提供错误信息或拒绝告诉用户其错误的地步。观点迎合发生在模型镜像用户的价值观和政治观点时。

“关于与拥有相似或不同观点的人建立社会联系的好处，我们了解很多。但关于与具有相似属性的AI模型进行扩展交互的好处或风险，我们尚不清楚。”该作者补充道。

研究人员构建了一个以LLM为中心的用户界面，并招募了38名参与者在两周内与该聊天机器人对话。每位参与者的对话都发生在同一上下文窗口中，以捕捉所有交互数据。

在两周的时间内，研究人员平均从每个用户收集了90个查询。

他们将五个具有此用户上下文的LLM的行为与未提供任何对话数据的同一LLM进行了比较。

“我们发现上下文确实从根本上改变了这些模型的运作方式，我敢说这种现象会远远超出迎合行为。虽然迎合行为倾向于增加，但并不总是如此。这实际上取决于上下文本身，”其中一位资深作者说。

上下文线索

例如，当LLM将有关用户的信息提炼成一个特定的画像时，会导致一致性迎合的最大增长。这种用户画像功能正越来越多地被融入最新的模型中。

他们还发现，来自合成对话的随机文本也增加了某些模型表示同意的可能性，即使这些文本不包含任何用户特定数据。这表明白对话的长度有时可能比内容更能影响迎合行为。

但内容对于观点迎合至关重要。对话上下文只有在揭示关于用户政治观点的一些信息时，才会增加观点迎合。

为了获得这一见解，研究人员仔细查询模型以推断用户的信仰，然后询问每个个体模型的推断是否正确。用户表示，LLM大约有一半的时间能准确理解他们的政治观点。

“事后诸葛亮地说，AI公司应该进行这种评估。但这很难，需要大量的时间和投入。在评估循环中使用人类是很昂贵的，但我们已经证明这可以揭示新的见解，”主要作者说。

虽然他们的研究目的不是缓解迎合行为，但研究人员提出了一些建议。

例如，为了减少迎合行为，可以设计能更好识别上下文和内存中相关细节的模型。此外，可以构建检测镜像行为并标记过度同意回复的模型。模型开发者还可以让用户能够调节长对话中的个性化。

“有很多方法可以个性化模型而不让它们过度迎合。个性化和迎合之间的界限并不是一条细线，但将个性化和迎合分离开来是一个重要的未来工作领域，”作者说。

“归根结底，我们需要更好的方法来捕捉与LLM长对话过程中的动态和复杂性，以及在该长期过程中可能发生错位的情况，”另一位资深作者补充道。FINISHED