AI 成本和服务器成本最大的区别是:它随用户行为线性增长,且没有物理上限。一台服务器跑满了会变慢,一个接口被刷会一直扣钱。
| 层级 | 控制对象 | 手段 | 超限动作 |
|---|---|---|---|
| 总预算 | 全站月度 | 网关层累计计数 | 告警 → 降级到小模型 → 停止非核心功能 |
| 功能预算 | 单个功能/接口 | 按 role 计费 | 限流、切换便宜档 |
| 用户预算 | 单用户/单租户 | 按 user_id 累计 | 限额、提示升级套餐 |
不要只设「月度 100%」一个阈值,那时已经晚了。按日均消耗设三档:
业务代码里到处埋计费逻辑,一定会漏。正确做法是在统一入口(网关或 SDK 封装层)记一条流水,字段至少包含:
ts, app_id, user_id, role, provider, model,
prompt_tokens, completion_tokens, cached_tokens,
latency_ms, status, cost_cny有了这张表,任何「这个月为什么贵了」的问题都能在五分钟内定位到具体功能、具体用户、具体模型。