接口错误会告警,质量退化不会。模型供应商悄悄更新了版本、你的 prompt 被改了一个词、用户的问题分布变了——这些都会让效果缓慢下滑,而监控全绿。
| 信号 | 来源 | 灵敏度 |
|---|---|---|
| 自动评测集分数 | 每日跑一次固定样本 | 高,能提前发现 |
| 用户行为 | 重问率、转人工率、复制率、停留时长 | 中,滞后但真实 |
| 显式反馈 | 点赞点踩、投诉 | 低,样本稀疏且有偏 |
重问率是最被低估的指标:用户在同一个会话里换个说法再问一遍,几乎等价于「你刚才答得不对」。这个信号比点踩多两个数量级。
成本估算:100 条 × 平均 1,500 token ≈ 15 万 token/天,按 ¥2/百万约 ¥0.3/天。这是全站最划算的一笔开销。
发现变差后,按这个顺序排查,能最快定位: