生成式AI购物助手Rufus的技术架构解析

基于生成式AI的购物助手Rufus的技术实现

"寒冷天气打高尔夫需要准备什么？""越野跑鞋和普通跑鞋有什么区别？""适合五岁儿童的最佳恐龙玩具有哪些？"这些开放式问题通常是顾客在实体店向销售助理咨询的典型问题。那么在线上购物时，顾客该如何获取这些信息？

定制化大语言模型开发

与大多数基于通用数据集训练后再进行领域定制的大语言模型不同，Rufus从设计之初就主要使用购物数据进行训练——包括完整的商品目录、客户评论以及社区问答信息。科研团队构建了先进的定制大语言模型，整合这些数据源及网络公开信息，并精心策划每个数据源对模型训练的贡献度。

采用某中心的EMR服务（云端大数据平台）进行大规模分布式数据处理，并利用某中心的S3服务（领先的云存储解决方案）存储数据。这两项服务为构建定制模型提供了安全可靠的基础架构。

基于检索增强生成的答案溯源

为应对可能提出的各种问题，Rufus需要能够超越训练数据范围，利用未见过的信息。这就是检索增强生成技术的用武之地：在生成回复前，大语言模型会先筛选可能有助于回答购物者问题的信息。

Rufus从已知可靠来源获取信息，包括客户评论、产品目录和社区问答，同时调用相关商店API。该检索增强生成流程的独特性既体现在数据源的多样性，也体现在根据不同问题各数据源相关性的差异。

通过强化学习持续优化

每个大语言模型和生成式AI应用都处于持续改进过程中。为了让Rufus随时间推移变得更加有用，需要了解哪些回复有帮助，哪些需要改进。通过强化学习流程，客户可以成为最佳信息源。鼓励客户提供反馈，让模型了解他们对答案的喜好。随着时间的推移，Rufus从客户反馈中学习并改进回复，生成更能帮助客户购物的答案。

基于AI芯片的低延迟高吞吐量

Rufus需要能够同时与数百万客户交互而没有任何明显延迟。这在生成式AI应用计算密集度极高的情况下尤其具有挑战性，特别是在某中心的规模下。

为最小化延迟同时最大化吞吐量，采用了某中心的Trainium和Inferentia芯片，这些芯片与核心云服务深度集成。与Neuron编译器团队合作实施优化措施，提高模型推理效率，并将这些优化提供给所有云服务客户。选择自研AI芯片使团队能够快速推进、规模化部署并跟上客户需求。

然而对于大语言模型，标准的批处理请求方法仍可能影响吞吐量和延迟。这是因为很难预测大语言模型在组织回复时会生成多少令牌（本文中指文本单位，如单词或标点符号）。科研团队与某中心合作使Rufus能够使用连续批处理技术，这是一种新颖的大语言模型推理专用技术，在生成每个令牌后为新请求做出路由决策。这使得模型能够在批次中第一个请求完成后立即开始服务新请求，而不必等待所有请求完成，从而让购物者更快获得答案。

流式架构设计

目标是提供对任何给定问题最相关和最有用的答案。有时是长文本答案，但有时是短文本，或者是帮助客户浏览商店的可点击链接。

以易于客户理解的方式呈现答案本身存在技术难点。信息需要遵循逻辑流程。如果分组和格式不正确，最终可能得到令人困惑且不太有用的回复。

通过先进的流式架构，Rufus能够提供自然的客户体验。基于令牌的端到端流式传输意味着客户无需等待长答案完全生成。相反，他们在其余部分仍在生成时就能获得答案的第一部分。Rufus通过向内部系统发起查询，将正确数据填充到流式响应中（这一过程称为水合作用）。除了回答客户问题外，它还经过训练生成标记指令，指定各种答案元素的显示方式，从而为客户提供独特有用的体验。

尽管某中心使用AI改善客户体验已超过25年，但生成式AI代表了某种全新变革——对某中心、其客户以及科研团队而言，能够构建超越我们认为可能的体验。我们很高兴能通过生成式AI加速为客户创新的步伐，并相信它将在未来数月和数年内改变每个客户体验。