RAG(检索增强生成)的价值是把「模型的记忆」换成「你的资料」。它不神秘,本质是四步:切分、向量化、召回、拼进 prompt。
这是最影响效果、也最容易被忽视的一步。三条实用规则:
def chunk(text, size=600, overlap=120):
paras = [p.strip() for p in re.split(r'\n\s*\n', text) if p.strip()]
out, buf = [], ''
for p in paras:
if len(buf) + len(p) <= size:
buf += ('\n' if buf else '') + p
else:
if buf: out.append(buf)
buf = (buf[-overlap:] + '\n' + p) if overlap and buf else p
if buf: out.append(buf)
return outdef embed(texts, model="text-embedding-3-small"):
r = session.post(BASE + "/embeddings",
json={"model": model, "input": texts}, timeout=60)
r.raise_for_status()
return [d["embedding"] for d in r.json()["data"]]注意两点:批量上限(一次几十到上百条,超了会 400);同一批资料必须用同一个向量模型,换模型等于重建索引。向量通常归一化后存,用余弦相似度检索。
纯向量召回在「精确匹配」上很弱:用户问「陕ICP备05033212号」,向量检索很可能找不到,因为语义上它和别的备案号没区别。混合检索(向量 + 关键词)几乎是必须的。
def search(q, topk=5):
qv = embed([q])[0]
scored = []
for i, v in enumerate(VECS):
sim = sum(a*b for a, b in zip(qv, v)) # 已归一化,点积即余弦
kw = 0.15 if any(w in CHUNKS[i] for w in keywords(q)) else 0
scored.append((sim + kw, i))
scored.sort(reverse=True)
return [CHUNKS[i] for _, i in scored[:topk]]sys = "你是资料问答助手。只根据 <ctx> 内的内容回答;资料中没有的,直接说没有。"
user = f"""<ctx>
{ctx}
</ctx>
问题:{q}"""| 症状 | 先查 | 再查 |
|---|---|---|
| 答案完全跑题 | 召回结果对不对(打印出来看) | 切分是否把答案切碎了 |
| 答案缺关键数字 | 关键词召回是否覆盖 | 是否该加重排 |
| 答案自信地胡说 | prompt 是否禁止外部知识 | 是否给了无关片段干扰 |
| 同一问题答案不稳定 | temperature 是否 > 0.3 | 片段顺序是否随机 |
最后:RAG 的效果上限由资料质量决定,不是由模型决定。把 PDF 里那些断行、页眉、乱码清洗干净,收益比换更强的模型大得多。