🔍 登录 注册

PG 向量检索混合架构续篇,BM25 与语义检索的融合闭环

半 半山听雨 2026-11-21 👁 0 ⏱ 4min

PG 向量检索混合架构续篇,BM25 与语义检索的融合闭环

前两篇聊过 pgvector 的 RAG 管道与调优,这篇补上混合检索的最后一块拼图:全文检索(BM25 语义)与向量检索(embedding 语义)的融合排序。单一路线的失败模式很明确——向量检索擅长"意思相近",但在型号、编号、专有名词这类精确匹配上会翻车;全文检索相反。生产级 RAG 系统两者都要。PG 用一套 SQL 就能实现,PG19(2026-11-19 GA)之后这套架构的适配工作量也不大。

一、双通道检索的分工

通道 擅长 失效场景
pgvector 语义检索 同义改写、跨语言、段落大意 精确 ID、型号、罕见词
tsvector 全文检索 关键词精确命中、专有名词 同义改写、语义泛化

混合检索的输出 = 两路召回的并集,经融合排序后取 top-k。业界最常用的融合公式是 RRF(Reciprocal Rank Fusion):

score(doc) = Σ 1 / (k + rank_i(doc))    k 通常取 60

RRF 只用排名不用分数,天然规避了两路分数尺度不可比的问题。

二、表结构与双索引

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE docs (
  id          bigserial PRIMARY KEY,
  title       text,
  body        text,
  embedding   vector(1024),                    -- 语义通道
  fts         tsvector GENERATED ALWAYS AS      -- 关键词通道
              (to_tsvector('simple', coalesce(title,'') || ' ' || coalesce(body,''))) STORED
);

CREATE INDEX idx_docs_fts   ON docs USING gin (fts);
CREATE INDEX idx_docs_vec   ON docs USING hnsw (embedding vector_cosine_ops);

要点:

  • fts 用生成列自动维护,写入侧零成本;
  • HNSW 索引查询快但构建慢,批量导入时先灌数据后建索引;
  • 中文场景 simple 配置配合外部分词(jieba 预处理写入),或装 zhparser 扩展。

三、融合查询,一段 SQL 完成双路召回

WITH q AS (
  SELECT
    '[0.12,0.83,...]'::vector(1024) AS qvec,        -- 应用侧生成的查询向量
    plainto_tsquery('simple', 'RRF 融合排序 混合检索') AS qts
),
vec AS (
  SELECT id, row_number() OVER (ORDER BY embedding <=> qvec) AS rank
  FROM docs, q
  ORDER BY embedding <=> qvec
  LIMIT 50
),
fts AS (
  SELECT id, row_number() OVER (ORDER BY ts_rank(fts, qts) DESC) AS rank
  FROM docs, q
  WHERE fts @@ qts
  ORDER BY ts_rank(fts, qts) DESC
  LIMIT 50
)
SELECT d.id, d.title,
       coalesce(1.0/(60+v.rank),0) + coalesce(1.0/(60+f.rank),0) AS rrf_score
FROM docs d
LEFT JOIN vec v ON v.id = d.id
LEFT JOIN fts f ON f.id = d.id
WHERE v.id IS NOT NULL OR f.id IS NOT NULL
ORDER BY rrf_score DESC
LIMIT 10;

两路各取 50 条再融合出 10 条,这个"宽进严出"比例是实践里比较稳的起点,召回不足时两路分别扩到 100。

四、查询路由,不是所有查询都要双路

双路并行有成本,简单规则能省一半算力:

-- 应用侧路由示意:短精确查询走全文,长自然语言走向量
-- SELECT ts_len: 查询词元数量
-- tokens <= 3 且含数字/型号特征  -> 全文优先,向量兜底
-- tokens >= 8 自然语言           -> 向量优先,全文兜底
-- 其余                           -> 双路并行

路由结果记日志并按命中质量回流调参,两周就能收敛出适合自己语料的阈值。

五、坑与边界

坑 说明 应对
两路分数直接相加 分数尺度不可比 只用 RRF 等排名融合
中文分词缺失 simple 配置把整句当一个词元 接入 jieba/zhparser 预分词
HNSW 建索引锁表 大表构建期间 IO 打满 批量导入后低峰建索引
向量维度漂移 换 embedding 模型后 1024 维不匹配 表加 model_version 字段,双版本过渡
RRF 恒等融合 两路质量不对等时拖后腿 按查询类型给两路加权 w1/w2

第五坑的解法是给 RRF 加权:对"型号类查询"把全文权重调到 0.7/0.3,对"语义类查询"反过来。权重从查询路由的日志统计里来,不是拍脑袋。

小结

混合检索 = 向量管语义、全文管精确、RRF 管融合,一段 SQL 在 PG 内闭环。 落地顺序:生成列双索引 → RRF 融合查询 → 按查询特征路由省算力 → 加权融合收敛质量。三个纪律:绝不混用两路原始分数、中文必须外接分词、embedding 模型换版要留双版本过渡期。PG19 升级后这套架构照常运转,先在 18.x 上把融合闭环跑通,升级就是平滑的。

读完了?给作者一点支持

本文采用 CC BY 4.0 协议转载 · © 半山听雨

评论(0)

登录 后参与评论。

  • 还没有评论,来抢沙发。

🔗 相关文章

Go 1.27 全面解读:泛型方法、内置 uuid 包与 encoding/json/v2

Go 1.27(2026 年 8 月发布)是近几代语言层面变化最大的一版:泛型方法落地、struct literal 键支持嵌套字段选择器、新标准库 uuid 包、encoding/json/v2 成为 v1 的实现底座。对生产代码的影响不在"能不能用新语法",而在哪些既有模式可以被替换。本文按升级决策顺序解读这版的关键变化与迁移注意。

8 小时前👍 0

Go 并发原语演进:structured concurrency 讨论、errgroup 模式与 sync 包新变化

Go 并发的哲学一直是"CSP 原语 + 手动纪律"。但社区对结构化并发(structured concurrency)的诉求持续升温——提案在 Go 官方仓库长期高关注,工具链里 golang.org/x/sync/errgroup 已是事实标准。同时 sync 包在近几版有低调但实用的变化(sync.Map 性能演进、OnceFunc/OnceValue/MustFunc 家族)。本文梳理 2026 年 Go 并发实践的正确形态:goroutine 生命周期管理模板、errgroup 的高级用法、以及"等提案不如立纪律"的取舍。

8 小时前👍 0

N-API 插件开发实战,从 C++ 到稳定 ABI 的完整路径

Node 的原生插件生态有一个常被误解的设计:N-API 从诞生起就承诺 ABI 稳定——同一份编译产物可以在不同 Node 版本间直接复用,不需要随版本重新编译。本文用一个完整的 C++ 示例走一遍 N-API 开发全流程,再对比 node-addon-api 封装层,最后给出分发策略的选型建议。

8 小时前👍 1