在所有的成本优化手段里,这一条的投入产出比最高,但也最容易被忽略——因为它不需要任何架构改动。
| 任务 | 建议 max_tokens | 说明 |
|---|---|---|
| 分类/打标 | 20~50 | 只要一个标签或一个词 |
| 情感/意图判断 | 50~150 | 带一句理由 |
| 短摘要 | 200~400 | 一段话 |
| 客服回答 | 300~600 | 两三段,超过就该转人工 |
| 长文写作 | 1,500~3,000 | 按篇幅需求定,不要给 8,000 |
| 结构化抽取 | 500~1,500 | 按字段数量估 |
| 代码生成 | 1,000~2,500 | 单函数级别 |
上限只是保险,真正决定长度的是指令。用可量化的约束替换形容词:
| 模糊指令 | 可量化指令 |
|---|---|
| 详细说明一下 | 用不超过 3 句话说明,每句不超过 40 字 |
| 给出全面的分析 | 列出 3 个要点,每点一句话 |
| 写一段介绍 | 写 120 字左右的介绍,分两段 |
finish_reason == length 说明被截断了。三种处置: