LLM 应用生态系统：有什么新变化以及云原生正在如何适应

LLM 应用生态系统：有什么新变化以及云原生正在如何适应

Web3 未能重塑开发者生态系统，然而新兴的 LLM 堆栈正在推动云原生时代进行适应。我们将对其进展进行审视。

翻译自 LLM App Ecosystem: What’s New and How Cloud Native Is Adapting 。

AI 启用应用程序的开发生态系统正逐渐成熟，经过过去一年出现的诸如 LangChain 和 LlamaIndex 等工具。甚至现在已经有一个专门针对 AI 开发者的术语：AI 工程师，根据其倡导者 Shawn @swyx Wang 的说法，这是从“提示工程师”升级而来的下一步。他创建了一个巧妙的图表，展示了 AI 工程师在更广泛的 AI 和开发生态系统中的位置：

来自 swyx

大型语言模型（LLM）是 AI 工程师的核心技术。LangChain 和 LlamaIndex 都是扩展和补充 LLM 的工具，这并不是巧合。但除了 LLM 之外，还有哪些工具可供这个新的开发者类别使用呢？

我目前看到的关于 LLM 堆栈的最佳图表来自风险投资公司 Andreessen-Horowitz（a16z） 。以下是他们对“LLM 应用堆栈”的看法：

来自 a16z；点击图像查看全尺寸。

至关重要的数据层

不言而喻，在 LLM 堆栈中，最重要的是数据。在 a16z 的图表中，这是顶层。 "嵌入模型" 是 LLM 的运用领域 - 您可以选择使用 OpenAI、Cohere、Hugging Face 等几十种其他 LLM 选项，包括日益流行的开源 LLM。

但甚至在使用 LLM 之前，a16z 暗示您需要设置一个“数据流水线” - 它列出了 Databricks 和 Airflow 作为两个示例，或者您可以选择将数据“非结构化”。虽然 a16z 没有提到，但我认为这部分数据周期中适合的工具是帮助企业在将数据提供给定制的 LLM 之前“清洁”或简单策划数据的工具。这种类型的“数据智能”公司，如 Alation，提供这种服务 - 它类似于企业 IT 堆栈中更知名的“业务智能”工具类别的衍生。

数据层的最后一部分是一类工具，允许您存储和处理 LLM 数据 - 向量数据库。根据 Microsoft 的定义，这是“一种将数据存储为高维向量的数据库，这些向量是特征或属性的数学表示。” 数据以通过一种叫做“嵌入”的技术存储为向量。

当我在五月份与领先的向量数据库供应商 Pinecone 交谈时，他们指出他们的工具通常与数据流水线工具（如 Databricks）一起使用。在这种情况下，数据通常存储在其他地方（例如数据湖），然后通过机器学习模型将其转化为嵌入来进行处理和分块。处理和分块数据后，产生的向量将被发送到 Pinecone。

提示和查询

接下来的两个层次可以总结为提示和查询 - 这是 AI 应用程序与 LLM 以及（可选地）其他数据工具进行交互的地方。

a16z 将 LangChain 和 LlamaIndex 都定位为“编排框架”，这意味着开发者一旦知道他们正在使用哪个 LLM，就可以使用这些工具。

根据 a16z 的说法，编排框架如 LangChain 和 LlamaIndex “抽象出了许多提示链接的细节”，这意味着在应用程序与 LLM 之间（们）进行查询和管理数据。这个编排过程中包括与外部 API 进行交互，从向量数据库检索上下文数据以及在多个 LLM 调用之间维护内存。

a16z 图表中最引人入胜的框是“playground”，其中包括 OpenAI、nat.dev 和 Humanloop。a16z 在博文中没有定义这是什么，但我们可以推断，“playground”工具帮助开发者进行所谓的“提示技巧”。这些是开发者可以尝试各种提示技术的地方。

Humanloop 是一家英国公司，其平台的特点之一是“协作提示工作区”。它进一步将自己描述为“用于将 LLM 功能投入生产的完整开发人员工具包”。因此，它允许您尝试 LLM 相关内容，然后在效果良好时将其部署到应用程序中。（我已经联系了该公司以安排一次采访，所以将会另外撰写更多有关这方面的内容。）

LLM 运营

在编排框的右侧是一系列操作框，包括 LLM 缓存和验证。还有与 LLM 相关的许多云和 API 服务，包括类似 Hugging Face 的开放 API 存储库，以及类似 OpenAI 的专有 API 提供商。

这也许是堆栈最像我们在“云原生”时代习惯的开发者堆栈的地方，不巧的是，许多 DevOps 公司已经将 AI 添加到他们的服务列表中。五月份，我与 Harness 的首席执行官 Jyoti Bansal 进行了交谈。Harness 是一个专注于 CI/CD 流程（持续集成和持续交付/持续部署）中的 “CD” 部分的“软件交付平台”。

Bansal 告诉我，AI 可以减轻与软件交付生命周期相关的乏味和重复任务，

从基于现有特性生成规范，到编写代码。此外，他表示，AI 可以自动执行代码审查、漏洞测试、错误修复，甚至可以创建用于构建和部署的 CI/CD 流水线。

根据我五月份的另一次交谈，AI 还在改变开发者的生产力。构建自动化工具 Gradle 的 Trisha Gee 告诉我，AI 可以通过减少在重复任务（如编写样板代码）上所花费的时间，加速开发，使开发者能够专注于更大的问题，如确保代码符合业务需求。

Web3 已死，人工智能堆栈万岁

在新兴的 LLM 开发者堆栈中，我们已经看到了许多新的产品类型 - 诸如编排框架（LangChain 和 LlamaIndex），向量数据库以及 Humanloop 之类的“playground”平台。所有这些都是扩展和/或补充这个时代的核心技术：大语言模型。

但我们也看到，几乎所有来自云原生时代的公司都在调整他们的工具，以适应 AI 工程师时代。这对于 LLM 堆栈的未来演进来说是一个好兆头。谚语“站在巨人的肩膀上”浮现在脑海中：在计算技术领域，最好的创新往往都是在前人的基础上建立的。也许这就是失败的“Web3”革命所做的事情 - 它不是在前一代基础上建立，而是试图篡夺它。

这个新的 LLM 应用程序堆栈是不同的；它是从云开发时代到基于人工智能的新型开发生态系统的桥梁。