每年都有一批新模型冲上榜单,也每年都有一批团队在「换了更强的模型之后」发现线上效果没变好、账单却翻倍。原因不复杂:通用榜单衡量的是平均能力,而业务只关心自己那几百种输入。
这篇给一套可以直接拿去开会的选型框架。五个维度,每个都能落到可验证的动作上。
先把你的调用按任务分类,而不是按产品分类。同一个产品里往往混着四类完全不同的请求:
| 任务类型 | 典型请求 | 选型要点 | 常见误判 |
|---|---|---|---|
| 抽取/分类 | 从合同里取金额、给工单打标签 | 结构化输出稳定性 > 智商 | 用旗舰模型做分类,成本高 10 倍且并不更准 |
| 生成/写作 | 文案、摘要、改写 | 中文语感与指令跟随 | 只看英文榜单分数 |
| 推理/计算 | 对账、逻辑校验、代码审查 | 思维链质量,允许慢 | 用非推理模型硬扛,错误率高但看起来「快」 |
| 多模态 | 票据识别、录音转写、视频理解 | 模态原生支持度 | 用 OCR + 文本模型拼接,链路长且难维护 |
单价是每百万 tokens,但业务关心的是「处理一份合同多少钱」。两者之间隔着三个变量:平均输入长度、平均输出长度、失败重试率。
举个具体的:一份 30 页合同约 25,000 个输入 token,审查意见约 1,200 个输出 token。按输入 ¥4 / 输出 ¥16 每百万计算,单份成本是 25000×4/1e6 + 1200×16/1e6 = 0.1 + 0.0192 ≈ ¥0.12。一天 500 份就是 ¥60,一个月 ¥1,800。
同样的活换成输入 ¥2 / 输出 ¥8 的型号,单份 ¥0.06,月省 ¥900。而如果换成输入 ¥9 / 输出 ¥72 的旗舰,单份 ¥0.31,月成本 ¥4,650——差 7 倍。这就是为什么「先用便宜模型跑通,再按需升级」几乎总是对的。
很多团队选型时测的是「问一句你好,多久回」,这几乎没有参考价值。要测就用自己的真实请求,取 200 条,跑三遍,看 P50 与 P95。
没有任何一家接口能保证 100%。你要评估的不是「它会不会挂」,而是「它挂的时候我能不能切走」。三个问题:
json.loads(resp) 而没有 schema 校验,换模型必然出问题。面向国内用户提供生成式 AI 服务,需要关注《生成式人工智能服务管理暂行办法》下的备案/登记要求、内容安全审核义务、以及用户数据的留存与出境问题。这些不是「上线后再补」的事——它决定你能不能用某家海外接口。
| 你的处境 | 建议起点 | 理由 |
|---|---|---|
| 第一次做 AI 功能,不确定效果 | 国内低价档(如 flash/lite/mini 级) | 试错成本接近于零,先把链路跑通 |
| 已经有明确任务,追求性价比 | 国产主力档 + 一家海外兜底 | 主力扛量,兜底处理难样本 |
| 任务对准确性极敏感(法务、财务) | 旗舰档 + 人工复核 | 错误成本远高于 token 成本 |
| 多模态(视频/长音频) | Gemini 或国内视觉型号 | 原生多模态比拼接链路稳 |
| 面向公众、数据敏感 | 国内持证厂商 + 本地审核 | 合规优先于性能 |
最后一句实话:选型不是一次性决策。三个月后价格会变、模型会换代,把「切换成本」当成选型指标之一,比选中哪个模型更重要。这也是本站反复强调「用 OpenAI 兼容协议做统一入口」的原因。