公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/常见问题

常见问题

这些问题来自实际做接口接入时最常卡住的地方,答案尽量给判断依据,而不是给结论。

免费额度够做原型验证吗
够,但只够验证「能不能跑通」,不够验证「效果好不好」。免费额度普遍有低并发与低配额限制,跑几十条样本就停,而且高峰期排队明显。建议把免费额度用在打通链路,效果评估直接用付费的最小额度档,成本通常只有几元到几十元。
怎么判断一家接口稳不稳定
看三个数:P95 首字延迟、429 比例、错误率。方法是用自己的真实请求打 200 次以上(不要只测一句「你好」),分三个不同时段各测一轮。官方状态页只能作为参考,它反映的是全局,不反映你所在线路的情况。
国内模型和 GPT 系列还差多少
在通用任务上差距已经不大,各有胜负:中文语感、国内知识、性价比国内更强;复杂推理、代码、超长上下文、生态成熟度海外仍有优势。真正的选型依据应该是你自己的评测集,而不是任何榜单——同一批样本上,差异经常和榜单排名不一致。
为什么回答总是被截断
九成是 max_tokens 设得太小,其次是提示词要求了过长篇幅。先检查响应里的 finish_reason:如果是 length,就是被上限截断。按线上真实输出的 P95 长度乘 1.5 重新设置上限,同时把「写 2000 字」这类要求改成明确的字数区间。
一直返回 429 怎么办
429 是限流,不是故障。先确认撞的是 RPM 还是 TPM——长文本场景几乎都是 TPM 先满。处理顺序:①降低并发;②指数退避重试(带随机抖动);③把长请求切分或降级到更小的模型;④申请更高配额或增加一路供应商。不要在 429 时立刻无脑重试,那会让情况更糟。
流式输出上线后变成一次性返回
几乎一定是反向代理缓冲。Nginx 需要 proxy_buffering off、proxy_cache off、加 X-Accel-Buffering: no。CDN 也可能缓冲,需要在 CDN 侧关闭。判断方法:本地直连后端是流式、经过域名就不是,那就是代理层。
中文一个汉字算几个 token
常用汉字大约 0.6~1 个 token,生僻字和标点会被拆得更碎。经验上按「1 个汉字 ≈ 1 token」估算偏保守,实际账单通常比预估低 10%~30%。要精确值就用对应模型的分词器离线计算,别靠字数换算。
要不要自己搭向量库
资料少于几千段时不需要——用内存里的数组算余弦相似度就够,几百毫秒能扫完。等数据量到十万段以上、或需要多租户隔离时,再考虑专门的向量数据库。过早引入向量库,运维成本远大于收益。
不备案能不能上线生成式 AI 功能
取决于是否面向境内公众提供服务。纯内部办公工具通常不涉及面向公众的备案要求;对外开放的产品则需要按相关规定履行程序。这一条不是技术问题,属于准入前置,建议在开发早期就找专业顾问确认,不要等上线前才处理。
怎么防止接口被刷
四道闸:①匿名接口按 IP + 设备双维度限流;②登录用户给每日额度而不是总量;③限制单次输入长度;④对异常模式(同 IP 高频、输入高度雷同)打点告警。最关键的一条:任何无需登录即可触发的 AI 接口,必须有硬上限。
function calling 稳不稳定
结构性稳定,边界上不稳定。稳定的部分是「协议与返回格式」,不稳定的是「模型什么时候决定调工具、参数填得对不对」。所以工程上必须做三件事:参数用 schema 二次校验、工具名走白名单分发、给调用轮次设上限。不要假设模型一定返回合法 JSON。
多久该重新评估一次模型
建议每季度一次,重大版本发布时加一次。评估不看榜单,跑自己的评测集:100 条固定样本,看分类型准确率、失败模式、成本、延迟四项。顺便做一次「切换演练」,把 10% 流量切到备选供应商跑一周——这既是评估,也是容灾验证。