PG 向量检索混合架构续篇,BM25 与语义检索的融合闭环
前两篇聊过 pgvector 的 RAG 管道与调优,这篇补上混合检索的最后一块拼图:全文检索(BM25 语义)与向量检索(embedding 语义)的融合排序。单一路线的失败模式很明确——向量检索擅长"意思相近",但在型号、编号、专有名词这类精确匹配上会翻车;全文检索相反。生产级 RAG 系统两者都要。PG 用一套 SQL 就能实现,PG19(2026-11-19 GA)之后这套架构的适配工作量也不大。
一、双通道检索的分工
| 通道 | 擅长 | 失效场景 |
|---|---|---|
| pgvector 语义检索 | 同义改写、跨语言、段落大意 | 精确 ID、型号、罕见词 |
| tsvector 全文检索 | 关键词精确命中、专有名词 | 同义改写、语义泛化 |
混合检索的输出 = 两路召回的并集,经融合排序后取 top-k。业界最常用的融合公式是 RRF(Reciprocal Rank Fusion):
score(doc) = Σ 1 / (k + rank_i(doc)) k 通常取 60
RRF 只用排名不用分数,天然规避了两路分数尺度不可比的问题。
二、表结构与双索引
CREATE EXTENSION IF NOT EXISTS vector;
CREATE TABLE docs (
id bigserial PRIMARY KEY,
title text,
body text,
embedding vector(1024), -- 语义通道
fts tsvector GENERATED ALWAYS AS -- 关键词通道
(to_tsvector('simple', coalesce(title,'') || ' ' || coalesce(body,''))) STORED
);
CREATE INDEX idx_docs_fts ON docs USING gin (fts);
CREATE INDEX idx_docs_vec ON docs USING hnsw (embedding vector_cosine_ops);
要点:
- fts 用生成列自动维护,写入侧零成本;
- HNSW 索引查询快但构建慢,批量导入时先灌数据后建索引;
- 中文场景
simple配置配合外部分词(jieba 预处理写入),或装 zhparser 扩展。
三、融合查询,一段 SQL 完成双路召回
WITH q AS (
SELECT
'[0.12,0.83,...]'::vector(1024) AS qvec, -- 应用侧生成的查询向量
plainto_tsquery('simple', 'RRF 融合排序 混合检索') AS qts
),
vec AS (
SELECT id, row_number() OVER (ORDER BY embedding <=> qvec) AS rank
FROM docs, q
ORDER BY embedding <=> qvec
LIMIT 50
),
fts AS (
SELECT id, row_number() OVER (ORDER BY ts_rank(fts, qts) DESC) AS rank
FROM docs, q
WHERE fts @@ qts
ORDER BY ts_rank(fts, qts) DESC
LIMIT 50
)
SELECT d.id, d.title,
coalesce(1.0/(60+v.rank),0) + coalesce(1.0/(60+f.rank),0) AS rrf_score
FROM docs d
LEFT JOIN vec v ON v.id = d.id
LEFT JOIN fts f ON f.id = d.id
WHERE v.id IS NOT NULL OR f.id IS NOT NULL
ORDER BY rrf_score DESC
LIMIT 10;
两路各取 50 条再融合出 10 条,这个"宽进严出"比例是实践里比较稳的起点,召回不足时两路分别扩到 100。
四、查询路由,不是所有查询都要双路
双路并行有成本,简单规则能省一半算力:
-- 应用侧路由示意:短精确查询走全文,长自然语言走向量
-- SELECT ts_len: 查询词元数量
-- tokens <= 3 且含数字/型号特征 -> 全文优先,向量兜底
-- tokens >= 8 自然语言 -> 向量优先,全文兜底
-- 其余 -> 双路并行
路由结果记日志并按命中质量回流调参,两周就能收敛出适合自己语料的阈值。
五、坑与边界
| 坑 | 说明 | 应对 |
|---|---|---|
| 两路分数直接相加 | 分数尺度不可比 | 只用 RRF 等排名融合 |
| 中文分词缺失 | simple 配置把整句当一个词元 | 接入 jieba/zhparser 预分词 |
| HNSW 建索引锁表 | 大表构建期间 IO 打满 | 批量导入后低峰建索引 |
| 向量维度漂移 | 换 embedding 模型后 1024 维不匹配 | 表加 model_version 字段,双版本过渡 |
| RRF 恒等融合 | 两路质量不对等时拖后腿 | 按查询类型给两路加权 w1/w2 |
第五坑的解法是给 RRF 加权:对"型号类查询"把全文权重调到 0.7/0.3,对"语义类查询"反过来。权重从查询路由的日志统计里来,不是拍脑袋。
小结
混合检索 = 向量管语义、全文管精确、RRF 管融合,一段 SQL 在 PG 内闭环。 落地顺序:生成列双索引 → RRF 融合查询 → 按查询特征路由省算力 → 加权融合收敛质量。三个纪律:绝不混用两路原始分数、中文必须外接分词、embedding 模型换版要留双版本过渡期。PG19 升级后这套架构照常运转,先在 18.x 上把融合闭环跑通,升级就是平滑的。
评论(0)
登录 后参与评论。