现代人工智能堆栈：企业AI架构的设计原则

2023 年，企业在现代人工智能堆栈上的支出超过 11 亿美元，使其成为生成式人工智能领域最大的新市场，并为初创企业带来巨大机遇。Menlo Ventures 将现代人工智能堆栈的关键层定义如下：

第一层：计算和基础模型。计算和基础模型层包含基础模型本身，以及用于训练、微调、优化和最终部署模型的基础设施。

第二层：数据。数据层包含将LLMs连接到正确上下文（无论它们存在于企业数据系统中的任何位置）的基础设施。核心组件包括数据预处理、ETL 和数据管道，以及向量数据库、元数据存储和上下文缓存等数据库。

第 三 层：部署。部署层包含帮助开发人员管理和编排人工智能应用程序的工具，包括代理框架、提示管理以及模型路由和编排。

第四层：可观察性。现代人工智能堆栈的最后一层包含帮助监控运行时LLM行为并防范威胁的解决方案，包括用于LLM可观察性和安全解决方案的新类别。

人工智能革命不仅刺激了对新基础设施堆栈的需求，还积极重塑了企业处理应用程序开发、研发支出和团队组成的方式。企业人工智能架构的四个关键设计原则为：

1. 大部分支出用于推理而非训练

Menlo Ventures 最近的企业人工智能调查表明，几乎 95% 的人工智能支出都花在运行时和预训练上（run-time vs. pre-training）。在应用程序层，即使像 Writer 这样复杂的 AI 构建者也会将超过 80% 的计算花费在推理上，而不是训练上。

2. 我们生活在一个多模型世界

单一模型不会“统治一切”。根据 Menlo 的企业人工智能报告，60% 的企业使用多种模型，并将提示路由到性能最佳的模型。这种多模型方法消除了单模型依赖性，提供了更高的可控性并降低了成本。

3. RAG 是主导的架构方法

LLMs 是优秀的推理引擎，但具有有限的领域和企业特定知识。为了创造有用的人工智能体验，团队正在快速部署知识增强技术——从检索增强生成（RAG）开始。

4. 现在所有开发者都是人工智能开发者

全球范围内有 3000 万开发人员、30 万机器学习工程师，而只有 3 万机器学习研究人员。过去需要多年基础研究和复杂的机器学习专业知识的任务现在可以由主流开发人员在强大的预训练基础上工程数据系统在几天或几周内完成。