生成式人工智能提供更好答案的诀窍

【导语】Miso.ai 联合创始人 Lucky Gunasekara 和 Andy Hsieh 讨论了如何超越 RAG 基础知识，打破问题背景和假设是企业级服务的关键。

作为一种界面，生成式人工智能具有巨大的潜力，可以让用户以独特的方式查询数据，从而获得符合其需求的答案。例如，作为查询助手，生成式人工智能工具可以通过简单的问答形式帮助客户更好地浏览庞大的产品知识库。

但是，在使用生成式人工智能回答有关数据的问题之前，首先评估所提出的问题非常重要。

这是 Miso.ai 公司首席执行官兼联合创始人 Lucky Gunasekara 对当今开发生成式人工智能工具的团队提出的建议。

Miso.ai 是智能回答项目的供应商合作伙伴。Smart Answers 使用生成式人工智能回答有关 CIO.com 和 Foundry 网站 Computerworld、CSO、InfoWorld 和 Network World 上发表的文章的问题。Miso.ai 还为 IDG 的消费技术网站 PCWorld、Macworld 和 TechHive 建立了类似的 Answers 项目。

我对智能问答如何获得洞察力很感兴趣，于是请 Gunasekara 就 Miso.ai 理解和回答用户问题的方法进行了深入探讨。

大型语言模型（LLM）"实际上比我们想象的要天真得多，"古纳塞卡拉说。例如，如果被问到一个带有强烈观点的问题，大型语言模型很可能会去挑选能够证实该观点的数据，即使现有数据显示该观点是错误的。因此，如果被问到 "为什么 X 项目失败了？"，法学硕士可能会列出一连串项目失败的原因--即使它是成功的。这可不是面向公众的应用程序应该做的。

古纳塞卡拉指出，评估问题是所谓的 RAG（检索增强生成）应用程序通常会忽略的一个步骤。RAG 应用程序将 LLM 指向特定的数据体，并告诉它仅根据这些数据回答问题。

此类应用程序通常遵循这种（略微简化的）设置模式：

将现有数据分割成块，因为所有数据都太大，无法用一个 LLM 查询来处理。

为每个数据块生成所谓的嵌入，将该数据块的语义表示为一串数字，并将其存储起来。根据数据变化的需要进行更新。

然后是每个问题：

生成嵌入。

根据嵌入计算，找出与问题含义最相似的文本块。

将用户的问题输入 LLM，让它只根据最相关的信息块来回答。

在这里，古纳塞卡拉的团队采取了不同的方法，在搜索相关信息之前增加了一个检查问题的步骤。"Miso 首席技术官兼联合创始人安迪-谢（Andy Hsieh）解释说："我们不直接问这个问题，而是先问这个假设是否正确。

除了检查问题中固有的假设外，还有其他方法可以增强基本的 RAG 管道，帮助改进结果。Gunasekara 建议，尤其是在从实验阶段向生产型解决方案过渡时，要超越基础知识。

Gunasekara说："现在很多人都在强调'获取一个矢量数据库，进行RAG设置，然后一切就可以开箱即用了'。这是获得概念验证的好方法。但是，如果你需要创建一个企业级服务，并且不会造成意想不到的后果，那就必须要考虑上下文、上下文、上下文。

这可能意味着要使用文本语义之外的其他信号，如重复性和流行度。Gunasekara 提到了 Miso 正在与一家烹饪网站合作的另一个项目，即解构问题："派对上最适合提前烘焙的蛋糕是什么？

他说，"你需要分清你真正需要的是什么"。"提前制作 "蛋糕意味着它不需要马上食用；"用于聚会 "意味着它需要供几个人以上食用。还有一个问题是，法律硕士如何确定哪些食谱是 "最好的"。这可能意味着要使用其他网站的数据，例如哪些食谱流量最大、读者排名靠前，或者被编辑选中--所有这些都与查找和总结相关文本块是分开的。

古纳塞卡拉说："要想把这些事情做对，很多诡异的魔力都在于这些语境线索。

虽然 LLM 的质量是另一个重要因素，但 Miso 认为没有必要使用评价最高、价格最昂贵的商业 LLM。相反，为了降低成本，同时也因为有些客户不希望将他们的数据交给第三方，顺应潮流，顺便为一些客户项目微调了基于 Llama 2 的模型。顺应 Gunasekara 所称的 "开源 [LLMs] 正在形成一股巨大的推动力"，Miso 也在这样做。

"开源确实正在迎头赶上，"Hsieh 补充道。"开源模型已经非常非常接近超越 GPT-4。"