公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/可靠性与运维/模型切换的灰度方案:别一次性全量切

模型切换的灰度方案:别一次性全量切

2026-11-22约 6 分钟读完灰度上线模型切换

换模型的典型事故是:上线当天一切正常,三天后客服反馈「回答变得很奇怪」,而所有监控指标都是绿的。

为什么不能一刀切

  • 输出格式可能变(多一句解释、少一个字段),前端解析静默失败。
  • 指令遵循度可能变,同样的 prompt 得到不同风格。
  • 长度分布会变,成本与延迟跟着变。
  • 某些边界输入(超长、特殊符号、多语言)在新模型上可能直接报错。

四步灰度

  1. 1
    影子模式:新模型与旧模型同时跑,只记录新模型输出,不返回给用户。跑 1~3 天,对比输出差异。
  2. 2
    1% 真实流量:按用户 ID 哈希取模,固定同一批用户走新模型(保证体验一致)。观察错误率、finish_reason、用户反馈。
  3. 3
    10% → 50%:每档至少观察 24 小时,重点看质量指标而不是延迟指标。
  4. 4
    全量 + 保留回滚开关:全量后开关保留至少两周。

影子模式怎么对比

不需要人工看全部,用三个自动指标:

指标算法关注点
长度偏差新输出长度 / 旧输出长度偏离 0.7~1.4 之外要抽样看
结构合规率新输出能通过 schema 校验的比例低于旧模型 5 个点即阻断
语义相似度embedding 余弦相似度均值 < 0.8 说明风格漂移

再加一步人工抽检:随机抽 30 条,人工标注「更好/持平/更差」。这一步不能省,自动指标看不到「答非所问」。

回滚开关的设计

yaml
# 配置中心里的一个字段,不要写进代码
model_switch:
  primary: "model-a"        # 当前主用
  primary_prev: "model-b"   # 上一版,用于回滚
  rollout_pct: 100          # 灰度比例
  shadow: false             # 是否影子模式
回滚要求
回滚必须是「改一个配置 + 立即生效」,不能需要发布。故障发生在凌晨两点时,没人愿意走一遍发布流程。
说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。