公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/成本与配额/token 到底怎么数:中文、英文、代码、Emoji 的真实比例

token 到底怎么数:中文、英文、代码、Emoji 的真实比例

2026-11-22约 6 分钟读完token计费基础

token 是模型的计费与容量单位,但它不是字符,也不是字。同一段意思,用不同语言、不同写法,token 数可以差好几倍。

经验比例

文本类型大致比例示例说明
英文单词1 词 ≈ 1.3 tokenartificial intelligence → 3 token常见词多为单 token
英文短词1 词 ≈ 1 tokenapi, chat, model高频词已并入词表
中文汉字1 字 ≈ 0.6~1 token人工智能接口 → 约 4~6 token常用词会合并,生僻字拆得更碎
中文标点1 个 ≈ 1 token,。「」全角标点通常单独成 token
代码1 字符 ≈ 0.4 token缩进与符号很吃 token空格、换行都计费
数字串每 3 位 ≈ 1 token1234567 → 约 3 token长数字比想象中贵
Emoji1 个 ≈ 2~4 token😀 → 多 token常被拆成多字节序列
Base64/JSON1 字符 ≈ 0.5 token图片内联时尤其明显熵高的字符串压缩率低
估算原则
以上是经验值,不同模型的分词器差异明显。做预算时按「偏保守」估(中文按 1 字 1 token 算),实际账单通常比预估低。

三个容易被忽略的地方

  • 空格和换行都算。一段格式化良好的代码,缩进可能占 20% 的 token。
  • JSON 的键名重复出现。结构化输出里,每个对象都带一遍字段名,长列表时开销可观。
  • 系统提示词每次都计费。一个 800 字的 system prompt,十万次调用就是 8,000 万字的输入。

怎么准确数

用对应模型的分词器离线计算,不要靠字数估算。Python 下常见做法:

python
# 方式一:tiktoken(OpenAI 系模型通用)
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
print(len(enc.encode("人工智能接口,支持流式输出")))

# 方式二:调用厂商提供的 tokenizer 接口(部分厂商提供)
# 方式三:本地部署时用 transformers 的 tokenizer
#   from transformers import AutoTokenizer
#   tk = AutoTokenizer.from_pretrained("模型路径")
#   len(tk.encode(text))

一个真实的成本感知练习

把你自己产品的三个典型请求,分别数一下输入输出 token,乘上单价,算出「处理一个用户」要多少钱。多数人会在这个数字上第一次意识到:限制输出长度比优化输入更有效。

优化动作典型降幅难度
限制 max_tokens输出成本 30%~60%极低
精简 system prompt输入成本 10%~40%低
启用前缀缓存输入成本 50%~80%中
把固定问答改成检索直出整体成本 30%~50%中
降级到小模型整体成本 50%~80%中

顺序很重要:先做「不花钱」的事(限长度、精简 prompt),再考虑换模型。

说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。