公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/评测与数据/自建评测集:50 条样本胜过看一百个榜单

自建评测集:50 条样本胜过看一百个榜单

2026-11-22约 8 分钟读完评测选型数据

每次有新模型发布,团队都会问「要不要换」。如果没有自己的评测集,这个问题只能靠感觉回答,而感觉通常来自营销材料。

评测集怎么建(半天就能做完)

  1. 1
    抽样:从真实日志里随机抽 100 条,去掉重复与无效。
  2. 2
    分层:按任务类型分(抽取/写作/推理/多轮),每类至少 15 条。
  3. 3
    标注:人工写出「理想答案」或「评分标准」。这一步最花时间,也最有价值。
  4. 4
    固化:存成 JSON,带 id、输入、期望输出、评分方式。之后每次换模型都跑同一份。
  5. 5
    扩充:每次线上发现 badcase,就加进评测集。半年后它会变成你最重要的资产。

评分方式:能用规则就别用人

任务评分方式说明
分类/打标完全匹配最可靠,自动化
结构化抽取字段级对比(F1)允许部分字段错
数值/计算数值误差阈值±1% 内算对
摘要要点覆盖率 + LLM 打分人工定要点,模型判覆盖
自由写作人工 1~5 分抽样评,别全评
裁判偏差
用大模型当裁判(LLM-as-judge)很方便,但有系统性偏好:偏爱长回答、偏爱自己家的风格。用的时候固定裁判模型,并用 20 条人工标注校准它的准确率。

一个最小评测脚本

python
import json
cases = json.load(open("eval.json", encoding="utf-8"))

def run(model):
    rows = []
    for c in cases:
        out = chat(model, [{"role": "user", "content": c["input"]}])
        rows.append({"id": c["id"], "type": c["type"],
                     "out": out, "pass": judge(c, out)})
    return rows

for m in ["model-a", "model-b", "model-c"]:
    r = run(m)
    acc = sum(x["pass"] for x in r) / len(r)
    cost = sum(estimate(x) for x in r)
    print(m, f"acc={acc:.1%}", f"cost={cost:.3f}元/百条")

看结论的正确方式

不要只看总分。要看分类型准确率:新模型可能在总体 +3%,但在「数值抽取」上 -8%,而后者恰好是你的核心场景。

还要看失败模式:是漏字段、是多写了废话、是格式错、是拒答。不同的失败模式对应完全不同的补救手段(改 prompt / 加校验 / 换模型)。

说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。