公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/评测与数据/上线后的质量回归:怎么发现「悄悄变差」

上线后的质量回归:怎么发现「悄悄变差」

2026-11-22约 6 分钟读完质量回归评测

接口错误会告警,质量退化不会。模型供应商悄悄更新了版本、你的 prompt 被改了一个词、用户的问题分布变了——这些都会让效果缓慢下滑,而监控全绿。

三类信号

信号来源灵敏度
自动评测集分数每日跑一次固定样本高,能提前发现
用户行为重问率、转人工率、复制率、停留时长中,滞后但真实
显式反馈点赞点踩、投诉低,样本稀疏且有偏

重问率是最被低估的指标:用户在同一个会话里换个说法再问一遍,几乎等价于「你刚才答得不对」。这个信号比点踩多两个数量级。

每日回归怎么做(成本可控)

  1. 固定 100 条评测样本,每天凌晨跑一次。
  2. 记录分数、平均长度、失败类型分布。
  3. 与 7 日均值比较,跌幅超过 3 个点就告警。
  4. 告警后人工看 10 条 diff,判断是「模型变了」还是「样本过时了」。

成本估算:100 条 × 平均 1,500 token ≈ 15 万 token/天,按 ¥2/百万约 ¥0.3/天。这是全站最划算的一笔开销。

归因顺序

发现变差后,按这个顺序排查,能最快定位:

  1. 1
    最近有没有改 prompt / 换模型 / 改参数?(看变更记录)
  2. 2
    供应商有没有发版本更新公告?(多数厂商会通知)
  3. 3
    输入分布有没有变?(新功能带来新类型的问题)
  4. 4
    是不是某个特定类型变差?(看分类型分数)
  5. 5
    最后才怀疑「模型整体退化了」。
反向指标
不要用「用户反馈变少了」当作变好的证据。用户流失后连反馈都不会有。
说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。