算清 system prompt、历史对话、检索片段各占多少,还剩几轮可聊。
「安全水位」按上限的 90% 计算,留出 10% 余量给分词误差与工具定义。
上下文到了百万级,很多人第一反应是「不用做检索了」。但成本、延迟、召回质量三笔账算下来,答案往往相反。…
单价看起来一样,账单却能差三倍。区别都在这些不写在首页价格表里的地方。…
同一个长 prompt 被反复调用时,缓存命中能把输入成本降到几分之一。前提是你的 prompt 结构写对了。…