产品评论提示有效性评估模型

模型评估产品评论中提示的有效性

该方法可帮助客户评估提示可靠性的支持证据。

背景介绍

产品评论是电子商务网站中受欢迎且重要的功能，许多客户在购物过程中依赖这些评论。评论通常包含个人经验和观点，可帮助其他客户做出更明智的购买决策。此外，评论还包含实用且非显而易见的建议，以更好、更轻松、更安全地使用产品。例如，"首次使用此相机前充电8小时"。这类建议被称为"产品提示"。

为节省客户阅读数十甚至数百条评论以查找有用提示的时间，研究人员引入了从评论中自动提取提示的方法。这些提示可显示在网站的专用小部件中。然而，由于提示通常是非显而易见的建议，客户可能合理质疑其有效性，并寻找其他客户的支持或反对意见。

研究方法

在某国际计算机学会信息检索特别兴趣组会议上发表的论文中，提出了一种确定提示受到产品所有评论支持或反对程度的方法。该方法核心是一个模型，用于确定提示与另一评论句子之间的支持、矛盾或中立水平。这是一项具有挑战性的任务，因为两个自然语言句子之间的支持和矛盾有多种形式。

实验成果

在使用多个产品类别的产品提示进行的实验中，为每个提示检索最多五个被模型识别为支持该提示的评论句子，以及最多五个被识别为矛盾的句子。在50%的覆盖率下（即仅考虑模型最自信预测的前50%提示-句子对），该方法在检测支持关系和矛盾关系方面分别达到72%和58%的精确度。

由于任务以精确度为导向，还考虑了25%的覆盖率，发现检测支持和矛盾关系的精确度分别提高到79%和67%。这些结果反映了相对于现成模型8%和29%的相对改进，证明了该任务的挑战性。进一步发现至少一半的提取提示有支持性评论，至少三分之一有矛盾性评论。

技术实现

小部件设计

新方法可集成到提供提示的小部件中，同时提供支持水平和相关评论链接，帮助客户评估其有效性。

提示支持水平估计

该方法按三个步骤操作：

步骤1：给定从客户评论中提取的产品提示，目标是衡量该提示受到该产品所有评论的支持和矛盾程度。由于某些产品有数千条评论，算法检索与提示最相似的几百个句子。使用句子嵌入的最近邻搜索估计相似度，以加快后续依赖更计算密集型模型的步骤。

步骤2：使用句对句支持级别分类器，计算提示与每个相关句子的支持分数和矛盾分数。支持级别分类器是一个神经模型，在手动标注为相互支持、矛盾或中立的句子对上进行训练。分类器输出三个分数（支持、矛盾和中立），总和为1。

步骤3：最后，对所有相关句子的所有支持分数和矛盾分数进行聚合，提供全局支持分数和全局矛盾分数，反映所有评论相对于给定提示的支持水平。

提示分类

根据估计的提示支持和矛盾分数，定义以下分类法来表征提示：

• 高度支持：有许多支持性且几乎没有矛盾句子的提示
• 高度矛盾：有许多矛盾性且几乎没有支持句子的提示
• 有争议：有许多支持性和许多矛盾性句子的提示
• 轶事性：几乎没有任何支持和矛盾句子的提示

为检查按此分类法分布的提示，将支持和矛盾分数分为低、中、高三个范围。然后将提示分配到所属的单元格，创建三乘三热力图。

应用价值

产品评论，特别是产品提示，对客户重要且有帮助。通过显示每个提示的支持水平并提供支持或反对评论的链接，可以帮助客户估计提示的有效性并决定给予每个提示多少信任。

研究领域：对话式AI、搜索与信息检索

标签：数据提取、事实验证、SIGIR