公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/可靠性与运维/AI 接口的可观测性:四个必看指标与三条告警

AI 接口的可观测性:四个必看指标与三条告警

2026-11-22约 6 分钟读完可观测监控运维

「接口 200 就代表成功」这个假设在 AI 场景里不成立。一个 200 的响应可能是空内容、可能是被截断的半句话、可能是模型在胡说。

四个必看指标

指标怎么看异常信号
TTFT(首 token 延迟)P50/P95 分开看P95 突然翻倍 → 上游过载或输入变长
成功率与 finish_reason 分布按 stop / length / filter 分类length 占比升高 → 输出被频繁截断
token 消耗输入/输出/缓存命中分开记单请求 token 突增 → prompt 被注入长文本
重试率与降级率按供应商分组某家重试率 > 10% → 该家不稳定

三条告警

  1. 错误率突增:5 分钟内错误率 > 10%,或某供应商连续失败 10 次。
  2. 延迟劣化:P95 TTFT 超过基线 2 倍且持续 5 分钟。
  3. 成本异常:单小时消耗超过过去 7 天同时段均值的 3 倍。

必须落库的字段

schema
request_id, ts, app_id, user_id, role, provider, model,
prompt_tokens, completion_tokens, cached_tokens,
ttft_ms, total_ms, status_code, finish_reason,
retry_count, fallback_from, error_type

fallback_from 这个字段经常被漏掉,但它决定了你能不能回答「这次故障影响了多少请求」。

日志里不要放什么

  • 完整的用户输入(涉及隐私,且体积大)。存哈希 + 长度 + 前 50 字即可。
  • 完整的模型输出(同理)。存长度、finish_reason、校验结果。
  • API key(任何形式,包括前缀)。
排障四件套
排查「模型变笨了」这类问题时,能救命的不是日志全文,而是输入长度分布 + 提示词版本号 + 模型名 + 采样参数这四项。它们能在一分钟内排除掉 80% 的可能。
说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。