公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/成本与配额/输出长度控制:最省钱的一行代码

输出长度控制:最省钱的一行代码

2026-11-22约 5 分钟读完成本输出优化

在所有的成本优化手段里,这一条的投入产出比最高,但也最容易被忽略——因为它不需要任何架构改动。

为什么输出会失控

  • 不设 max_tokens,模型会一直写到「自己觉得说完」。
  • 提示词里有「详细说明」「全面分析」这类词,模型就真的写三千字。
  • 结构化输出时,模型可能先写一段解释,再给 JSON。
  • 推理模型的思考长度不可控,会把上限吃满。

按任务设上限的参考值

任务建议 max_tokens说明
分类/打标20~50只要一个标签或一个词
情感/意图判断50~150带一句理由
短摘要200~400一段话
客服回答300~600两三段,超过就该转人工
长文写作1,500~3,000按篇幅需求定,不要给 8,000
结构化抽取500~1,500按字段数量估
代码生成1,000~2,500单函数级别

同时约束提示词

上限只是保险,真正决定长度的是指令。用可量化的约束替换形容词:

模糊指令可量化指令
详细说明一下用不超过 3 句话说明,每句不超过 40 字
给出全面的分析列出 3 个要点,每点一句话
写一段介绍写 120 字左右的介绍,分两段

截断之后怎么办

finish_reason == length 说明被截断了。三种处置:

  1. 内容不完整但可用(如列表少最后一项)→ 接受,或让用户点「继续」。
  2. 结构被破坏(JSON 不完整)→ 提高上限重试一次,仍失败则视为错误。
  3. 经常撞上限 → 说明上限设错了,按 P95 输出长度重新设(P95 的 1.5 倍比较稳妥)。
数据驱动
先把线上真实请求的输出长度分布统计出来(网关日志里有 completion_tokens),取 P95 再乘 1.5,就是最合理的上限。凭感觉设的值通常要么太小要么太大。
说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。