手头没有分词器时,用经验比例快速估算一段内容的 token 量与成本。
比例:汉字 0.85、英文词 1.3、代码字符 0.4、数字字符 0.34、Emoji 2.5。属于经验值,误差约 ±20%。
「一个字一个 token」是错的,「四个字符一个 token」也不全对。这四种文本的实际比例差别能到三倍。…
单价看起来一样,账单却能差三倍。区别都在这些不写在首页价格表里的地方。…