token 是模型的计费与容量单位,但它不是字符,也不是字。同一段意思,用不同语言、不同写法,token 数可以差好几倍。
| 文本类型 | 大致比例 | 示例 | 说明 |
|---|---|---|---|
| 英文单词 | 1 词 ≈ 1.3 token | artificial intelligence → 3 token | 常见词多为单 token |
| 英文短词 | 1 词 ≈ 1 token | api, chat, model | 高频词已并入词表 |
| 中文汉字 | 1 字 ≈ 0.6~1 token | 人工智能接口 → 约 4~6 token | 常用词会合并,生僻字拆得更碎 |
| 中文标点 | 1 个 ≈ 1 token | ,。「」 | 全角标点通常单独成 token |
| 代码 | 1 字符 ≈ 0.4 token | 缩进与符号很吃 token | 空格、换行都计费 |
| 数字串 | 每 3 位 ≈ 1 token | 1234567 → 约 3 token | 长数字比想象中贵 |
| Emoji | 1 个 ≈ 2~4 token | 😀 → 多 token | 常被拆成多字节序列 |
| Base64/JSON | 1 字符 ≈ 0.5 token | 图片内联时尤其明显 | 熵高的字符串压缩率低 |
用对应模型的分词器离线计算,不要靠字数估算。Python 下常见做法:
# 方式一:tiktoken(OpenAI 系模型通用)
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
print(len(enc.encode("人工智能接口,支持流式输出")))
# 方式二:调用厂商提供的 tokenizer 接口(部分厂商提供)
# 方式三:本地部署时用 transformers 的 tokenizer
# from transformers import AutoTokenizer
# tk = AutoTokenizer.from_pretrained("模型路径")
# len(tk.encode(text))把你自己产品的三个典型请求,分别数一下输入输出 token,乘上单价,算出「处理一个用户」要多少钱。多数人会在这个数字上第一次意识到:限制输出长度比优化输入更有效。
| 优化动作 | 典型降幅 | 难度 |
|---|---|---|
| 限制 max_tokens | 输出成本 30%~60% | 极低 |
| 精简 system prompt | 输入成本 10%~40% | 低 |
| 启用前缀缓存 | 输入成本 50%~80% | 中 |
| 把固定问答改成检索直出 | 整体成本 30%~50% | 中 |
| 降级到小模型 | 整体成本 50%~80% | 中 |
顺序很重要:先做「不花钱」的事(限长度、精简 prompt),再考虑换模型。