评测与数据
不靠榜单选模型:小样本自建评测集、延迟与稳定性基准、Prompt 版本管理、输出质量回归。
共 4 篇
01
榜单测的是平均能力,你的业务只在特定分布上跑。用真实日志做一个小评测集,选型结论会完全不同。
8 分钟
02
你测的是接口耗时,用户感受的是「点了到看见字」。中间隔着网络、代理、渲染和排队。
6 分钟
03
prompt 改一个字,整个产品的输出风格就变了。没有版本管理,你无法回答「什么时候开始变差的」。
6 分钟
04
接口一直 200,用户却在流失。质量退化是慢性的,只能靠定期回归和用户信号发现。
6 分钟