推理模型在智能体系统中主要承担"慢思考"角色,负责规划层与异常恢复决策,而非高频执行步骤。
1. 规划层(Planning Layer)
- Agent 接收任务后,由推理模型进行任务分解、依赖分析、执行计划生成
- 此类调用通常每个任务仅执行一次(或极少),延迟可被摊薄
- Anthropic 建议为规划决策分配 5000~10000 思考 token
2. 执行层(Execution Layer)
- 具体的工具调用、数据转换、格式化输出等步骤由快速普通模型处理
- 这些调用频率高、逻辑确定,不需要推理模型的深度思考
3. 恢复分支(Recovery Branch)
- 当执行步骤返回异常或歧义结果时,系统将决策权升级到推理模型
- 推理模型判断应重试、重新规划还是中止,避免在错误路径上浪费资源
- 这种条件性路由是混合 Agent 架构的关键设计决策
4. 成本效益
- 一次规划调用(约 10000 思考 token)的成本约等于 40~60 次快速执行调用
- 对于 20 步任务,"一次慢规划 + 多次快执行"的成本结构远优于"每步都用推理模型"