「接口 200 就代表成功」这个假设在 AI 场景里不成立。一个 200 的响应可能是空内容、可能是被截断的半句话、可能是模型在胡说。
| 指标 | 怎么看 | 异常信号 |
|---|---|---|
| TTFT(首 token 延迟) | P50/P95 分开看 | P95 突然翻倍 → 上游过载或输入变长 |
| 成功率与 finish_reason 分布 | 按 stop / length / filter 分类 | length 占比升高 → 输出被频繁截断 |
| token 消耗 | 输入/输出/缓存命中分开记 | 单请求 token 突增 → prompt 被注入长文本 |
| 重试率与降级率 | 按供应商分组 | 某家重试率 > 10% → 该家不稳定 |
request_id, ts, app_id, user_id, role, provider, model,
prompt_tokens, completion_tokens, cached_tokens,
ttft_ms, total_ms, status_code, finish_reason,
retry_count, fallback_from, error_typefallback_from 这个字段经常被漏掉,但它决定了你能不能回答「这次故障影响了多少请求」。