多模型 API 流式输出怎么统一：事件协议与工具调用原创

接入多个大模型时，流式输出最容易被低估。接口表面上都是一段一段返回文本，但open AI andropic同意，文心和质谱在事件类型、工具调用、参数用量统计与结束原因上都有差异。仅仅把Delta拼成字符串，一旦进入智能体和生产环境，就会丢失关键语义。更稳妥的做法是先定义内部事件协议，至少包括开始、文本、增量、工具、参数、增量、用量、结束和错误6类事件。适配器负责把供应商事件转换成内部事件，同时保留原始数据，便于审计与牌照。业务层只依赖这套稳定协议工具调用，尤其需要状态机。函数参数通常是分片j son, 不能每来一段就直接解析。应当按调用ID缓冲，在完成事件到达后再解析，并明确区分正常结束内容截段和协议错误。

任何解析失败都要成为可观测的错误，不能静默丢弃。第二个重点是被压与取消。消费者变慢时用有界队列限制内存，用户关闭页面时，把取消信号传播到上游连接。超时也应拆成连接超时、手包超时和流空闲超时，这样才能区分供应商不可用模型排队和中途断流。最后是测试与观测，除了总耗时，还要记录手偷看、延迟、增量间隔、取消成功率和异常中态。测试不要只断言最终文本应回放真实事件覆盖半包j son重复结束、连接中断和工具参数损坏。多模型适配层的价值不是隐藏所有差异。而是把差异收敛到一个可测试、可演进的边界。文章推荐鹤飞的大模型API流式输出完全指南，适合作为接口差异与代码实践的补充阅读。