公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/选型对比/小模型够不够用:一次真实的分级用模测算

小模型够不够用:一次真实的分级用模测算

2026-11-22约 8 分钟读完成本选型架构

「用最便宜的模型」和「用最强的模型」都是偷懒的答案。真实业务里,请求的难度分布是极不均匀的:大部分是重复的、简单的,少数是复杂的。

先看一个分布假设

假设一个客服问答系统,日均 3 万次调用,输入平均 1,200 tokens,输出平均 300 tokens。按难度分:

档位占比样例当前做法合理做法
简单62%查订单状态、退换货政策、营业时间旗舰模型小模型 + 知识库直出
中等31%多轮追问、需要结合两条政策旗舰模型主力档模型
复杂7%投诉、跨订单争议、需要推理旗舰模型旗舰或推理模型 + 人工兜底

算一遍钱

用三档参考价:小模型输入 ¥0.8 / 输出 ¥2,主力输入 ¥2.4 / 输出 ¥9.6,旗舰输入 ¥9 / 输出 ¥72(每百万 tokens)。

计算
单次成本 = 输入 tokens × 输入单价 / 1e6 + 输出 tokens × 输出单价 / 1e6

小模型:  1200×0.8/1e6  + 300×2/1e6   = 0.00096 + 0.0006  = ¥0.00156
主力档:  1200×2.4/1e6  + 300×9.6/1e6 = 0.00288 + 0.00288 = ¥0.00576
旗舰档:  1200×9/1e6    + 300×72/1e6  = 0.0108  + 0.0216  = ¥0.0324

全量旗舰:3 万 × 0.0324 = ¥972/天。分级之后:

计算
0.62 × 30000 × 0.00156 = ¥29.0
0.31 × 30000 × 0.00576 = ¥53.6
0.07 × 30000 × 0.0324  = ¥68.0
合计 ≈ ¥150.6/天,约为全量旗舰的 15.5%
前提条件
节省 85% 听起来夸张,但它成立的前提是「你能准确判断难度」。分级本身要用一个小模型做路由,路由错判的代价是体验下降或成本反弹,所以下面这一步不能省。

怎么分级:三条可用路径

  1. 规则前置:命中知识库的固定问题(政策、流程、价格)直接走检索直出,根本不用调生成模型。这一条通常能吃掉 30%~50% 的流量,性价比最高。
  2. 小模型路由:用轻量模型判断「这个问题需不需要复杂推理」,输出一个 0/1 或三分类标签,再决定走哪档。路由本身成本可以忽略。
  3. 置信度回退:小模型先答,同时让它输出置信度或「无法确定」,低置信度自动升级到高一档重答。用户只感知到「有时慢一点」。

别踩的三个坑

  • 分级只按「输入长度」判断。长度和难度不相关:一句「这个合同有没有风险」很短但很难。
  • 小模型直接拒答就当失败。拒答是有效信号,应该触发升级而不是报错给用户。
  • 没有对照实验就全量切。至少留 10% 流量走原方案,跑两周看满意度与转人工率。

最后一句话:降本的第一顺位不是换便宜模型,而是少调用模型。缓存、检索直出、模板化回答,这三件事的效果永远比换供应商大。

说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。