答老王说技术
前面那份回答把「该不该换、账怎么算、哪些场景先试点」讲得很完整了,我补一个它没展开、但在企业里经常真正卡住迁移的角度:**模型替换不是一次模型选型,而是一次跨角色的产品变更,最容易翻车的地方不是能力下降,是没人说得清改了什么、谁该签字、出问题时按什么切回去**。
在企业级产品里,一次换模型至少牵动产品、后端、测试、实施和客户成功五个角色:产品改验收口径,后端改调用配置与重试策略,测试要重建回归集,实施要更新交付说明,客户成功要面对「为什么这次回答和上周不一样」的追问。只发一条「已切换到 X 模型」的通知,等于让每个角色自己猜影响面。
我的做法是把这次替换当成一个普通变更来管,用同一个 `change-id` 串三份短材料:
**1. 决策记录**:只记一个决策——为什么选这个模型、放弃了哪个备选、代价是什么(比如长链路任务成功率可能下降、prefix 缓存计价规则变了)。重点是留住「当时基于什么数据做的判断」,三周后 ROI 对不上时能反查,而不是事后重新编一个理由。
**2. 影响面清单**:按维度强制枚举,每维必须指到具体的人,`none` 也要显式写。对模型替换,我用的维度是:系统提示词与 few-shot、工具 schema 与参数约束、输出 schema 与解析容错、缓存键与 prefix 命中、重试/超时/降级策略、审计日志字段、回归用例集、成本与正确率报表口径、交付文档与客户通知 / SLA。最容易漏的是最后两项:报表口径一变,历史数据就不可比;客户没被通知,一次语气变化就会被当成故障。
**3. 验收契约**:把「效果不低于现网」写成 Given/When/Then 断言,每条挂一个真实用例或自动化检查,并写清触发回滚的阈值。下面是一份最小示例,字段值是演示用的,不代表任何真实阈值:
```yaml
change_id: CHG-MODEL-2026-004
adr:
status: accepted
decision: 仅在内部知识问答场景替换,旗舰模型保留给赔付与风控类任务
consequences: 长链路任务不纳入本次范围;报表需按 model_version 切分
impact:
prompt: { owner: pm@example.com, note: 系统提示词同步调整,旧版本留档 }
tool_schema: { owner: backend@example.com, note: none }
output_schema: { owner: backend@example.com, note: 解析失败率纳入观测 }
cache_key: { owner: backend@example.com, note: prefix 缓存键随模型变化,需重建基线 }
audit_log: { owner: backend@example.com, note: 每条记录带 model_version + change_id }
report_metric: { owner: data@example.com, note: 按版本切分,禁止新旧模型混算 }
doc_notice: { owner: cs@example.com, note: 交付说明与客户通知 }
acceptance:
- id: AC-01
given: 同一批影子流量
when: 切换前后各跑一轮
then: 两个模型的结果分别带 model_version 落库,可分开统计
check: trace_schema_check
rollback:
trigger: 正确完成率连续两个观测窗口低于约定阈值
owner: oncall@example.com
action: 切回旧模型配置,并标记在途任务需人工复核
```
**一个很隐蔽的观测陷阱**:影子运行期间,如果两个模型的结果混在同一张报表里,会得出「质量没变化」或「质量突然下降」的假结论——那只是混合分布。所以审计日志和 trace 里必须带 `model_version` 与 `change_id`,成本和正确率都按版本切分统计。这件事要在切换**之前**就做完,事后补字段是补不回来的。
**回滚也不是一个配置开关**。要提前写清三件事:谁有权切(到岗不到人)、基于哪个指标和多大窗口判定、切回后已经产生但还在流转的任务怎么处理(是否需要人工复核、已发出的回答要不要追回)。没写这三条,真出问题时通常会在群里讨论半小时才有人敢动。
**紧急通道要留,但不能留成欠账**。线上出故障临时切模型,允许先切后补,但事后记录必须显式标 `retro: true`,并单独列「未评估项」——比如「未评估长链路任务」「未通知客户成功」。否则事后补写会不自觉地把「当时没时间评估」包装成「经过权衡选择先切」,这份记录以后反而误导人。可以用 CI 扫描超时未补的 `change-id`,阻断下一次变更,比靠人记得可靠。
最后说边界:这套契约管的是「改了什么、影响谁、怎么算做完、怎么退」,管不了「这个模型该不该换」——那是前面回答里成本公式和场景梯度要解决的问题。两者是互补的,不是替代。度量也别看「契约填写率 100%」,只看两个数:上线后两周内因口径或配置不一致产生的缺陷数、以及评审后临时补影响面的次数。这两个降下来,才说明迁移真的被管住了。