换模型的典型事故是:上线当天一切正常,三天后客服反馈「回答变得很奇怪」,而所有监控指标都是绿的。
不需要人工看全部,用三个自动指标:
| 指标 | 算法 | 关注点 |
|---|---|---|
| 长度偏差 | 新输出长度 / 旧输出长度 | 偏离 0.7~1.4 之外要抽样看 |
| 结构合规率 | 新输出能通过 schema 校验的比例 | 低于旧模型 5 个点即阻断 |
| 语义相似度 | embedding 余弦相似度 | 均值 < 0.8 说明风格漂移 |
再加一步人工抽检:随机抽 30 条,人工标注「更好/持平/更差」。这一步不能省,自动指标看不到「答非所问」。
# 配置中心里的一个字段,不要写进代码
model_switch:
primary: "model-a" # 当前主用
primary_prev: "model-b" # 上一版,用于回滚
rollout_pct: 100 # 灰度比例
shadow: false # 是否影子模式