公告AI接口网提供各类可接入的人工智能接口
AI接口网AI 接口选型与接入工程手册
首页/评测与数据/延迟基准:为什么你测的延迟和用户感受到的不一样

延迟基准:为什么你测的延迟和用户感受到的不一样

2026-11-22约 6 分钟读完延迟性能评测

延迟数字最容易骗人:本地测 800ms,用户抱怨很卡。差别在于测量位置不同。

四个不同位置的延迟

位置测的是什么典型值谁关心
接口耗时(服务端)发请求到收完响应1~10s开发者
TTFT发请求到收到第一个 token0.3~3s产品经理
端到端(用户侧)点击到屏幕出现第一个字TTFT + 网络 + 渲染用户
感知延迟点击到「有反应」按钮反馈即可,<100ms所有人

关键结论:让按钮立刻有反馈,比优化 200ms 接口耗时更能改善体验。

怎么测 TTFT

python
t0 = time.time()
r = session.post(url, json=payload, stream=True, timeout=(5, 60))
ttft = None
chars = 0
for line in r.iter_lines():
    if not line or not line.startswith(b"data: "):
        continue
    if ttft is None:
        ttft = time.time() - t0        # 第一个有效 token
    ...
print(f"TTFT={ttft:.2f}s total={time.time()-t0:.2f}s")

测试要控制的变量

  • 输入长度固定(否则长输入的 TTFT 天然更高)。
  • 输出长度固定(用 max_tokens 限制,否则总时长不可比)。
  • 同一时段、同一网络出口,避免高峰期误差。
  • 每家至少 200 次采样,取 P50 / P95 / P99。
  • 冷启动与热连接分开测(第一次请求通常慢)。

延迟优化手段(按性价比排序)

手段效果代价
流式输出感知延迟大幅下降无
按钮即时反馈 + 骨架屏感知延迟下降少量前端工作
缩短输入(检索代替全量)TTFT 明显下降要做检索
小模型处理简单请求延迟下降 50%+要分级
并发处理(多请求并行)总时长下降成本可能上升
换更快的供应商不稳定迁移成本
报告口径
延迟报告里写「平均 1.2 秒」是没意义的。要写「P50 0.9s / P95 2.8s / P99 6.1s,超时率 0.3%」。前者掩盖了那 5% 让用户流失的请求。
说明
文中价格、配额、限额均为撰写时的公开口径,会随厂商调整变化;用于估算量级,不构成报价。具体以各厂商官方文档与合同为准。