公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/术语表

术语表

读文档时最容易含糊过去的那些词,一句话说清。

token模型处理文本的最小单位,不完全等于字或词。计费与上下文长度都以它为单位。
上下文窗口(context window)一次请求中模型能「看到」的 token 总量,包括输入与输出。超出会被截断或直接报错。
TTFTTime To First Token,从发出请求到收到第一个输出 token 的时间,决定用户感知的「卡不卡」。
RPM / TPM每分钟请求数 / 每分钟 token 数。长文本场景下 TPM 通常先被撞满。
temperature采样随机性参数。越低越确定,越高越发散。设为 0 也不保证完全可复现。
top_p核采样参数,只在概率累计到 p 的候选词里采样。一般与 temperature 只调一个。
system prompt系统提示词,用于设定角色、规则与输出格式,通常在对话最前面且只有一条。
few-shot在提示词里给几个示例,让模型照着格式做。对结构化输出特别有效。
CoT(思维链)让模型先推理再作答的方法。推理模型把这个过程内置并单独计费。
embedding把文本映射成向量,用于相似度计算、检索、聚类。同一批数据必须用同一个模型。
RAG检索增强生成。先从资料库检索相关片段,再让模型基于片段作答,降低幻觉。
rerank对初步召回的片段做二次排序,通常用专门的交叉编码模型,效果提升明显但增加延迟。
chunk(切分)把长文档切成片段以便向量化。切分质量往往比模型选择更影响 RAG 效果。
向量库存储与检索向量的系统。数据量小时用数组暴力算即可,不必上专用数据库。
余弦相似度衡量两个向量方向接近程度的指标,取值 -1~1。归一化后可用点积快速计算。
function calling工具调用。模型返回「要调用哪个函数、参数是什么」,由你的代码执行并回填结果。
tool_calls工具调用的返回结构,可能一次返回多个,需按 id 逐条回填结果。
Agent让模型在多轮中自主规划并调用工具的架构。核心风险是权限与死循环。
MCPModel Context Protocol,把外部工具/数据源以标准协议暴露给模型的规范。
JSON Schema描述 JSON 结构的标准。用于约束模型输出格式(strict 模式)。
SSEServer-Sent Events,流式输出的传输格式。每行以 data: 开头,以 [DONE] 结束。
finish_reason响应结束原因:stop 正常、length 截断、tool_calls 要调工具、content_filter 被拦截。
prompt caching前缀缓存。相同前缀复用计算结果,命中部分按更低价格计费。
batch API批处理接口,通常五折,但要求异步、限时完成、不支持流式。
fine-tuning(精调)用自有数据继续训练模型。适合「格式/风格」问题,不适合「知识更新」。
SFT / LoRA监督微调 / 低秩适配。后者显存占用小,是常见的轻量精调方式。
distillation(蒸馏)用大模型的输出训练小模型,把能力迁移到更便宜的模型上。
多模态(multimodal)模型能处理文本之外的内容:图像、音频、视频。原生支持优于拼接链路。
ASR / TTS语音识别 / 语音合成。前者音频转文字,后者文字转音频。
prompt injection提示注入。攻击者让恶意文本进入上下文,诱导模型执行未授权指令。
hallucination(幻觉)模型生成看似合理但事实错误的内容。RAG 与强制引用是主要缓解手段。
fallback(降级)主链路失败时切到备用模型或兜底话术,保证产品可用。
circuit breaker(熔断)连续失败后暂停调用某供应商一段时间,避免拖垮整体。
observability可观测性。通过日志、指标、链路追踪判断系统内部状态。