LLM 如何转变企业应用

LLM 如何转变企业应用

译自 How LLMs Are Transforming Enterprise Applications 。

借助正确的数据库、几行代码和像 GPT-4 这样的大语言模型，构建提供前所未有的个性化上下文级别的应用程序已经成为现实。

人工智能是自 1994 年互联网兴起以来最具变革性的范式转变。可以理解的是，很多公司都在争先恐后地将人工智能注入到他们的经营方式中。

发生这种情况的最重要方式之一是通过生成人工智能和大型语言模型（LLM），这远远超出了要求 ChatGPT 为企业博客撰写有关特定主题的文章，甚至帮助编写代码。事实上， LLM 正在迅速成为应用程序栈的一个组成部分。

在包含所有必要数据并能够“理解”大语言模型语言的数据库之上构建像 ChatGPT 这样的生成式 AI 界面(代理程序)，这是移动应用程序的未来(以及越来越多的现在)。动态交互的级别、访问海量公共和专有数据的能力以及适应特定情况的能力，使基于大语言模型构建的应用程序以最近才出现的方式变得强大和吸引人。

这项技术已经迅速发展到几乎任何拥有正确数据库和正确 API 的人都可以构建这些体验。让我们看看涉及的内容。

生成式 AI 彻底改变了应用程序的工作方式

当有些人在同一句话中听到“代理（agent）”和“AI”时，他们会想到一个简单的聊天机器人，它显示为一个弹出窗口，询问当他们访问电子商务网站时它如何提供帮助。但是 LLM 可以做的不仅仅是用简单的对话提示和从 FAQ 中提取的答案来回应。当他们能够访问正确的数据时，基于LLM构建的应用程序可以推动更先进的方式与我们互动，提供更有用，更具体，更丰富的专业策划的信息 - 而且通常是不可思议的先见之明。

下面是一个示例：

你想在你的后院建造一个甲板，所以你打开你的家装店的移动应用程序，让它为你建立一个购物清单。由于该应用程序连接到 GPT-4 等 LLM 和许多数据源（公司自己的产品目录、商店库存、客户信息和订单历史记录，以及许多其他数据源），它可以轻松告诉您完成 DIY 项目所需的内容。但它可以做得更多。

如果您描述要包含在甲板中的尺寸和特征，应用程序可以提供可视化工具和设计辅助。因为它知道您的邮政编码，所以它可以告诉您附近的哪些商店有您需要的物品库存。它还可以根据您购买历史记录中的数据，建议您可能需要承包商来帮助您完成工作，并提供您附近专业人士的联系信息。

该应用程序还可以告诉您甲板污渍干燥所需的时间（甚至包括您居住地的季节性气候趋势）以及您需要多长时间才能真正在甲板上举办您一直在计划的生日派对。该应用程序还可以协助并提供许多其他相关领域的信息，包括有关项目许可要求的详细信息以及建筑对您的财产价值的影响。还有其他问题吗？该应用程序可以在每一步为您提供帮助，就像一个有用的助手，让您到达您想去的地方。

在您的应用程序中使用 LLM 很难，对吧？

这不是科幻小说。许多组织，包括一些最大的 DataStax 客户，正在开展许多包含生成 AI 的项目。

但这些项目不仅仅是大型成熟企业的领域；他们不需要有关机器学习、数据科学或 ML 模型训练的大量知识。事实上，构建基于 LLM 的应用程序只需要一个可以进行数据库调用和 API 调用的开发人员。构建能够提供直到最近闻所未闻的个性化上下文级别的应用程序是任何拥有正确数据库、几行代码和 GPT-4 等 LLM 的人都可以实现的现实。

LLM 使用起来非常简单。它们获取上下文（通常称为“提示”）并生成响应。因此，构建代理首先要考虑如何为 LLM 提供正确的上下文以获得所需的响应。

从广义上讲，此上下文来自三个位置：用户的问题、代理开发人员创建的预定义提示以及来自数据库或其他来源的数据（请参见下图）。

LLM 如何收集上下文以产生响应的简单图表。

用户提供的上下文通常只是他们输入到应用程序中的问题。第二部分可以由与开发人员合作的产品经理提供，以描述代理应扮演的角色（例如，“您是一个乐于助人的销售代理，试图在客户计划项目时帮助他们;请在您的答复中列出相关产品清单“）。

最后，提供的上下文的第三个存储桶包括从数据库和其他数据源中提取的外部数据，LLM 应使用这些数据源来构造响应。某些代理应用程序可能会在向用户输出响应之前对 LLM 进行多次调用，以便构造更详细的响应。这就是 ChatGPT 插件和 LangChain 等技术所促进的（更多内容见下文）。

给予 LLM 记忆

人工智能代理需要知识来源，但该知识必须被 LLM 理解。让我们快速退后一步，思考一下 LLM 是如何工作的。当你问 ChatGPT 一个问题时，它的内存或“上下文窗口”非常有限。如果您正在与 ChatGPT 进行扩展对话，它会打包您之前的查询和相应的响应并将其发送回模型，但它开始“忘记”上下文。

这就是为什么将代理连接到数据库对于希望在 LLM 上构建基于代理的应用程序的公司如此重要的原因。但是数据库必须以 LLM 理解的方式存储信息：作为向量。

简而言之，向量使您能够将句子、概念或图像简化为一组维度。您可以采用概念或上下文（例如产品描述），并将其转换为多个维度：向量的表示。记录这些维度可以实现向量搜索：搜索多维概念而不是关键字的能力。

这有助于 LLM 生成更准确和上下文合适的响应，同时还为模型提供了一种长期记忆形式。从本质上讲，向量搜索是 LLM 与其接受培训的庞大知识库之间的重要桥梁。向量是 LLM 的“语言”；向量搜索是数据库的必要功能，为它们提供上下文。

因此，能够为 LLM 提供适当数据的一个关键组成部分是矢量数据库，该数据库具有吞吐量，可扩展性和可靠性，可以处理推动代理体验所需的大量数据集。

...使用正确的数据库

可扩展性和性能是为任何 AI/ML 应用程序选择数据库时要考虑的两个关键因素。代理需要访问大量实时数据并需要高速处理，尤其是在部署访问您的网站或使用移动应用程序的每个客户可能使用的代理时。在需要时快速扩展的能力对于存储为代理应用程序提供数据至关重要。

Apache Cassandra 是一个数据库， Netflix，Uber 和 FedEx 等领导者依靠它来推动他们的参与系统，而人工智能对于丰富企业所服务的每一次互动至关重要。随着参与变得由代理驱动，Cassandra 通过提供水平可扩展性、速度和坚如磐石的稳定性变得至关重要，这使其成为存储支持基于代理的应用程序所需的数据的自然选择。

出于这个原因，Cassandra 社区开发了关键的向量搜索功能，以简化在大型数据集上构建 AI 应用程序的任务，DataStax 通过 Astra DB 中的云可以轻松使用这些功能，这是第一个具有向量功能的 IP 就绪的 petascale NoSQL 数据库（在此处阅读有关此新闻的更多信息）。

它是如何完成的

如前所述，组织有几种创建代理应用程序体验的途径。你会听到开发人员谈论像 LangChain 这样的框架，顾名思义，它通过将多个 LLM 调用的输入和输出链接在一起并根据需要自动从正确的数据源中提取正确的数据来实现 LLM 驱动的代理的开发。

但是，继续构建此类体验的最重要方法是利用目前全球最受欢迎的代理：ChatGPT。

ChatGPT 插件使第三方组织能够使用附加组件连接到 ChatGPT，这些附加组件提供有关这些公司的信息。想想 Facebook 。它成为社交网络平台，拥有庞大的组织生态系统，构建可以插入其中的游戏，内容和新闻提要。 ChatGPT 已经成为这样的平台：“超级代理”。

您的开发人员可能正在使用诸如 LangChain 之类的框架构建您组织自己的专有基于代理的应用程序体验，但仅专注于此将带来巨大的机会成本。如果他们没有研究 ChatGPT 插件，您的组织将错失一个巨大的分销机会，无法将特定于您业务的上下文整合到 ChatGPT 可以提供的可能信息范围或它可以向用户推荐的操作范围内。

包括 Instacart，Expedia，OpenTable 和 Slack 在内的一系列公司已经构建了 ChatGPT 插件；想想他们与 ChatGPT 的集成可能创造的竞争优势。

变革的无障碍推动者

构建 ChatGPT 插件将是企业希望参与的 AI 代理项目的关键部分。拥有正确的数据架构（尤其是向量数据库）可以更轻松地构建非常高性能的代理体验，这些体验可以快速检索正确的信息来支持这些响应。

所有应用程序都将成为 AI 应用程序。 LLM 和 ChatGPT 插件等功能的兴起使这个未来更容易获得。