每次有新模型发布,团队都会问「要不要换」。如果没有自己的评测集,这个问题只能靠感觉回答,而感觉通常来自营销材料。
| 任务 | 评分方式 | 说明 |
|---|---|---|
| 分类/打标 | 完全匹配 | 最可靠,自动化 |
| 结构化抽取 | 字段级对比(F1) | 允许部分字段错 |
| 数值/计算 | 数值误差阈值 | ±1% 内算对 |
| 摘要 | 要点覆盖率 + LLM 打分 | 人工定要点,模型判覆盖 |
| 自由写作 | 人工 1~5 分 | 抽样评,别全评 |
import json
cases = json.load(open("eval.json", encoding="utf-8"))
def run(model):
rows = []
for c in cases:
out = chat(model, [{"role": "user", "content": c["input"]}])
rows.append({"id": c["id"], "type": c["type"],
"out": out, "pass": judge(c, out)})
return rows
for m in ["model-a", "model-b", "model-c"]:
r = run(m)
acc = sum(x["pass"] for x in r) / len(r)
cost = sum(estimate(x) for x in r)
print(m, f"acc={acc:.1%}", f"cost={cost:.3f}元/百条")不要只看总分。要看分类型准确率:新模型可能在总体 +3%,但在「数值抽取」上 -8%,而后者恰好是你的核心场景。
还要看失败模式:是漏字段、是多写了废话、是格式错、是拒答。不同的失败模式对应完全不同的补救手段(改 prompt / 加校验 / 换模型)。