大多数团队把所有 AI 调用都做成同步:用户点一下,等结果。但实际上有一半的调用,用户并不真的在意是 3 秒还是 3 小时返回。
| 类型 | 例子 | 可延后时长 | 收益 |
|---|---|---|---|
| 离线生产 | 批量生成 SEO 文案、商品描述、文章摘要 | 小时级 | 批处理折扣 + 夜间富余配额 |
| 周期任务 | 每日报表分析、周报汇总、数据清洗 | 天级 | 可排到低谷时段 |
| 预热任务 | 把热门问题的答案提前生成好 | 天级 | 把实时调用变成缓存命中 |
这是最被低估的一招。把「用户最可能问的 500 个问题」提前跑出来,存成静态答案。用户问到时直接命中,成本从「一次完整生成」降到「一次数据库查询」。
做法:从历史日志里导出高频问题 → 聚类去重 → 离线生成 → 存库并标注生成时间 → 命中时直接返回(超过 7 天自动重生成)。命中率做到 30%~50% 很常见。
# 简单的时间窗调度:非紧急任务只在低谷跑
def should_run_now():
h = datetime.now().hour
return h in (1, 2, 3, 4, 5) # 凌晨 1-5 点
# 队列化:实时请求进高优队列,离线任务进低优队列
# 低优队列在配额剩余 > 40% 时才消费