企业级智能体AI规模化技术解析

企业级智能体AI规模化技术解析

在最近的一场炉边对话中，两位企业AI前沿的关键人物分享了他们对智能体AI演进格局的见解：某机构的產品总监Matan-Paul Shetrit和某中心的执行合伙人Sandesh Patnam。

全栈方法在生成式AI中的重要性

某中心在生成式AI投资中采取主题性、周期感知的方法。Patnam指出："当周期移动如此之快，而你只专注于一个层级时，你不知道颠覆会从哪里来。这样很难建立持久的公司。"

相反，某中心寻找具有以下特征的全栈生成式AI公司：

• 对模型的明确观点（无论是内部、开源还是混合）
• 对中间件和交付机制的控制
• 对最终用户工作流程的深入理解

企业AI关乎工作流，不仅仅是聊天机器人

"秘诀是工作流程，"Patnam强调。"我们在企业中做的大部分事情都是工作流程：交接、创造性决策、确定性查询和数据拼接，以服务于最终用户结果。"

他分享了财富管理的实际例子：

• 从内部系统提取特定客户数据
• 结合市场趋势与投资组合活动形成观点
• 生成图表和视觉效果，调整语气与品牌一致
• 将所有内容组装成合规、精美的沟通材料

智能体的崛起：从任务执行到思考推理

"这个代理必须思考。它必须推理。它必须做出决策。"

企业级代理需要：

• 精确查询结构化数据（无幻觉）
• 在准确性关键的地方做出确定性决策
• 在需要创造性和细微差别的地方生成文本或视觉效果

Palmyra：某机构的高上下文、企业就绪模型系列

某机构刚刚推出了新模型：Palmyra X5，这是该公司内部LLM系列的最新成员。

"这是某中心Bedrock上第一个100万令牌上下文窗口模型，"Shetrit指出，每百万输入令牌仅需0.60美元，每百万输出令牌6美元，工具调用延迟低于300毫秒。

"X4花费了我们70万美元推向市场，"Shetrit说。"X5？100万美元的GPU成本。"

AIHQ：企业智能体平台

Palmyra X5的发布也是AIHQ的延续，这是某机构为企业级自动化设计的智能体平台。具有100万令牌上下文窗口和超快速工具调用，某机构的基础设施现在支持：

• 多跳智能体流程
• 内存嵌入式推理
• 安全、企业原生的工具使用

为企业从头构建

与许多在转向企业之前从研究实验室或消费者工具开始的初创公司不同，某机构从一开始就为业务构建。这意味着其模型架构支持：

• 合规性
• 数据保留政策
• 法律保障措施
• 确定性行为与生成创造力的平衡

自演进模型与企业AI的未来

"我们在Q4发布了我们的观点，很快将有一篇关于我们称之为自演进模型的论文问世。"

根据某机构的观点，企业AI的下一个前沿将是更智能、更具适应性的系统，能够持续学习和即时改进。

这一想法有两个主要支柱：

1. 推理与知识
   • 知识可以通过RAG、API或委托工具外部检索
   • 推理是内部的；关乎模型如何解释输入、权衡选项并决定下一步行动
2. 上下文适应

防护栏、空气间隙和模型部署的混乱现实

某机构的一个新模型公开发布仅24小时，就开始基于用户输入模式自我解除审查。

"就像我们很多人一样，它变成了一个更糟糕的人，"他半开玩笑地说。

这种意外行为突显了一个硬道理：今天的防护栏不可持续。

这就是为什么某机构现在在空气间隙环境中运行某些企业部署；物理隔离的系统允许实验，而没有开环污染的风险。

部署复杂性：模型的版本控制

除了行为，还有操作控制的问题。在企业环境中，拥有智能模型是不够的；你还需要管理、回滚、审计和治理它的工具。

这需要反映传统软件工程严谨性的系统架构：

• 模型和代理配置的版本控制
• 工作流可重现性
• 故障检测和回滚机制
• 安全和隔离策略

从原型到生产：企业需要做对什么

90%的AI项目在原型阶段停滞。

"要从不成功的多跳代理的30%成功率提高到95-99%，我们需要自适应模型、健壮的工作流程和全栈基础设施。"

真正的瓶颈：变革管理，不仅仅是技术

"我们都看到了云时代发生了什么，"Shetrit说。"整个业务如某机构都是围绕部署和变革管理建立的。AI正在发生同样的事情。"

AI主管：IT的新角色

通过他们的AIHQ平台，某机构正在推动更协作的模式：业务团队和IT共同设计、构建和监督AI工作流程。

"我们需要授权IT成为我们所谓的AI主管，"Shetrit解释。

这些角色不是从头开始构建模型，而是关于：

• 治理部署
• 维护合规性
• 适应工作流程
• 确保可靠性和规模

企业AI的未来：模糊业务与IT之间的界限

随着企业AI的成熟，业务用户和技术专家之间的界限正在模糊。

"IT不想成为在房间里对AI说不的人，"Shetrit说。"但现在，他们很恐慌，他们没有控制权。"

在某机构的观点中，企业AI的未来在于紧密协作：

• 工程师推动深度集成的用例
• 业务用户定义工作流程和目标
• IT确保安全、可靠性和合规性