RAG 检索质量治理:从"召回了"到"回答了"的评估闭环
Spring AI 团队 2026 年 10 月的 Modular RAG 博客标题写得很准:"Retrieve More, Keep Only What Answers"——检索可以广,上下文只留能回答的。这句话背后是 RAG 系统最被低估的问题:没有检索质量评估闭环的 RAG,永远不知道自己坏在哪一环。本文给出把 RAG 从"感觉能用"推进到"有指标闭环"的完整方法,以 pgvector 为主例(Java/Spring AI 的思路完全通用,前篇 u2 文章已给 Spring 侧实现)。
一、RAG 的四级评估:每级一个可量化指标
RAG 不是单一指标能评价的,拆成四级、每级配一个可以直接计算的指标:
RAG 质量四级评估体系
├─ L1 检索召回:该找到的文档找到了吗
│ 指标:Recall@K(标注答案文档是否在 top-K)
├─ L2 排序质量:找到的排前面了吗
│ 指标:MRR / nDCG(首个正确文档的排名倒数)
├─ L3 上下文有效性:留下的片段能支撑回答吗
│ 指标:上下文利用率(生成回答时实际引用的比例)
├─ L4 端到端正确:最终答案对吗
│ 指标:答案正确率(人工抽检/LLM-as-judge 校准)
└─ 治理规则:哪一级坏了修哪一级——
端到端差但 L1 好 → 问题在生成端;
L1 就差 → 先修检索,别动提示词
# rag_eval.py:四级指标的最小实现
def recall_at_k(retrieved_ids, gold_ids, k=10):
hit = len(set(retrieved_ids[:k]) & set(gold_ids))
return hit / len(gold_ids) if gold_ids else 0.0
def mrr(retrieved_ids, gold_ids):
for rank, rid in enumerate(retrieved_ids, 1):
if rid in gold_ids:
return 1.0 / rank
return 0.0
# 一组标注数据(问题 → 正确文档ID)
cases = [
{"q": "函数计算怎么做", "gold": ["doc-7"], "got": ["doc-2", "doc-7", "doc-9"]},
{"q": "退款政策", "gold": ["doc-3"], "got": ["doc-1", "doc-2", "doc-4"]},
]
r = sum(recall_at_k(c["got"], c["gold"]) for c in cases) / len(cases)
m = sum(mrr(c["got"], c["gold"]) for c in cases) / len(cases)
print(f"Recall@3 = {r:.0%} | MRR = {m:.2f}")
# L1 差先修检索(扩 K/改嵌入),L2 差加 rerank——
# 分级定位,不盲目改提示词
二、pgvector 侧的检索质量基础设施
评估闭环需要基础设施支撑。pgvector 方案里三件套:查询日志、标注集、混合检索的消融测试:
-- 基础设施1:检索日志表(供回放评估)
CREATE TABLE rag_query_log (
id bigserial PRIMARY KEY,
created_at timestamptz DEFAULT now(),
question text,
embedding vector(1024),
retrieved_ids bigint[], -- 命中的 chunk id 列表
final_answer text,
user_feedback smallint -- 用户点踩/点赞(-1/0/1)
);
-- 基础设施2:混合检索(向量 + 全文),供消融对比
WITH kw AS (
SELECT id FROM chunks
WHERE tsv @@ websearch_to_tsquery('simple', $2)
LIMIT 30
), vec AS (
SELECT id, embedding <=> $1 AS dist FROM chunks
ORDER BY embedding <=> $1 LIMIT 30
)
SELECT id FROM (
SELECT id, 1.0 / (1 + row_number() OVER (ORDER BY id)) AS rrr FROM
(SELECT id FROM kw UNION SELECT id FROM vec) u
) x ORDER BY rrr DESC LIMIT 10;
# ablation.py:混合检索的消融测试(哪一路在贡献)
def ablation(dataset):
"""向量only / 关键词only / 混合 三路对比"""
results = {}
for mode in ("vector", "keyword", "hybrid"):
recall = sum(mode in c["contrib"] for c in dataset) / len(dataset)
results[mode] = recall
return results
ds = [{"contrib": ["vector", "hybrid"]},
{"contrib": ["keyword", "hybrid"]},
{"contrib": ["vector", "keyword", "hybrid"]}]
print(ablation(ds))
# {'vector': 0.67, 'keyword': 0.67, 'hybrid': 1.0}
# 混合检索贡献了单独任一路覆盖不到的 33% ——
# 这就是"保留两路"的量化依据
三、Spring AI 与 pgvector 的协作:自定义 Embeddings 的工程意义
Spring AI 2.1 的自定义 Embeddings + upsert(前篇 u2 文章)与 pgvector 结合时有一个被低估的工程价值:嵌入与文档的生命周期解耦后,可以独立升级嵌入模型而不重排文档:
嵌入模型升级的正确姿势
├─ 错误做法:文档更新时顺手重嵌入 → 嵌入版本混杂,
│ 新旧向量同库比较,检索质量莫名波动
├─ 正确做法:
│ ├─ chunks 表加 embedding_version 字段
│ ├─ 新模型嵌入写入 version 标记的平行列
│ ├─ 消融对比:新版本 Recall@K vs 旧版本
│ └─ 通过后灰度切换,旧列保留回滚
└─ Spring AI 的 upsert(自带嵌入)恰好支持这个流程
-- 嵌入版本平行列方案
ALTER TABLE chunks ADD COLUMN embedding_v2 vector(1024);
ALTER TABLE chunks ADD COLUMN embedding_ver smallint DEFAULT 1;
-- 检索按版本路由,消融通过后全量刷 v2 并切默认
SELECT id, embedding_v2 <=> $1 AS dist
FROM chunks WHERE embedding_ver = 2
ORDER BY embedding_v2 <=> $1 LIMIT 10;
四、闭环运营:把评估变成周例行
RAG 质量闭环的最后一块是运营节奏:
# crontab:每周一跑评估集 + 输出四级指标周报
0 9 * * 1 /opt/rag/eval_pipeline.sh | mail -s "RAG质量周报" team@firm.cn
# weekly_report.py:四级周报生成
def weekly_report(eval_results: dict, feedback: dict):
print("== RAG 质量周报 ==")
print(f"L1 Recall@10: {eval_results['recall']:.0%}")
print(f"L2 MRR: {eval_results['mrr']:.2f}")
print(f"L4 端到端: {eval_results['e2e']:.0%}")
print(f"用户点踩率: {feedback['dislike_rate']:.1%}")
worst = min(eval_results, key=eval_results.get)
print(f"本周最弱环节: {worst} -> 优先修复")
# 周报纪律:每周只修最弱一环——RAG 治理是持续工程
# 不是一次性调参
小结
RAG 检索质量治理的闭环方法:四级评估体系(召回/排序/上下文有效性/端到端)每级有可计算指标,哪级坏了修哪级;pgvector 侧的基础设施三件套(查询日志/标注集/混合检索消融);嵌入模型升级用版本平行列+消融灰度(Spring AI 2.1 的 upsert 恰好支持);运营节奏是周例行、每周只修最弱一环。"Retrieve More, Keep Only What Answers" 的完整含义:检索要广(保证 L1),上下文要窄(保住 L3),而知道两头都做到没有——靠评估闭环。
评论(0)
登录 后参与评论。