延迟数字最容易骗人:本地测 800ms,用户抱怨很卡。差别在于测量位置不同。
| 位置 | 测的是什么 | 典型值 | 谁关心 |
|---|---|---|---|
| 接口耗时(服务端) | 发请求到收完响应 | 1~10s | 开发者 |
| TTFT | 发请求到收到第一个 token | 0.3~3s | 产品经理 |
| 端到端(用户侧) | 点击到屏幕出现第一个字 | TTFT + 网络 + 渲染 | 用户 |
| 感知延迟 | 点击到「有反应」 | 按钮反馈即可,<100ms | 所有人 |
关键结论:让按钮立刻有反馈,比优化 200ms 接口耗时更能改善体验。
t0 = time.time()
r = session.post(url, json=payload, stream=True, timeout=(5, 60))
ttft = None
chars = 0
for line in r.iter_lines():
if not line or not line.startswith(b"data: "):
continue
if ttft is None:
ttft = time.time() - t0 # 第一个有效 token
...
print(f"TTFT={ttft:.2f}s total={time.time()-t0:.2f}s")| 手段 | 效果 | 代价 |
|---|---|---|
| 流式输出 | 感知延迟大幅下降 | 无 |
| 按钮即时反馈 + 骨架屏 | 感知延迟下降 | 少量前端工作 |
| 缩短输入(检索代替全量) | TTFT 明显下降 | 要做检索 |
| 小模型处理简单请求 | 延迟下降 50%+ | 要分级 |
| 并发处理(多请求并行) | 总时长下降 | 成本可能上升 |
| 换更快的供应商 | 不稳定 | 迁移成本 |