🔍 登录 注册

pgvector 与 RAG 落地:Postgres 里的向量索引选型、混合检索与容量边界

半 半山听雨 2026-11-19 👁 0 ⏱ 5min

pgvector 与 RAG 落地:Postgres 里的向量索引选型、混合检索与容量边界

RAG 管道(切分-召回-重排)的文章里我们说过"召回宽、重排严"。落到存储层,多数中小规模团队的最优解不是引入专用向量库,而是 pgvector:向量与业务数据同库、同一事务、同一条备份链。2026 年的 pgvector(0.8.x)已支持 HNSW/IVFFlat、halfvec/bit 量化与迭代式扫描。本文给工程选型与容量边界:什么时候 pgvector 够用、索引参数怎么定、混合检索怎么实现、什么时候必须换专用引擎。

一、建表与索引:HNSW 是默认答案

CREATE EXTENSION vector;

CREATE TABLE chunks (
  id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
  article_id bigint REFERENCES articles(id) ON DELETE CASCADE,
  heading text, body text,
  emb halfvec(1024),                     -- bge-m3/qwen3-emb 常用维度;halfvec 省一半内存
  updated_at timestamptz DEFAULT clock_timestamp()
);

CREATE INDEX ON chunks USING hnsw (emb halfvec_cosine_ops)
  WITH (m = 24, ef_construction = 200);

要点:

  • halfvec(fp16)替代 float32:内存减半、召回几乎无损,超过 2000 维还能避开索引列长限制;量化再省可用 bit + Hamming(需二值化模型或多位重排序);
  • HNSW 参数经验:m=16~32(连接度)、ef_construction=200(建索引质量);查询侧 hnsw.ef_search(默认 40)按 recall 要求调——recall@k 与延迟的权衡旋钮就这一个;
  • IVFFlat 只在"数据静态 + 内存极紧"时用(lists ≈ rows/1000),增量写入质量差,HNSW 是 2026 年的默认选择。

二、查询模式与元数据过滤:pre-filter vs post-filter

RAG 真实查询几乎都带条件(按文章、按语言、按时间):

SELECT id, heading, 1 - (emb <=> :qvec) AS score
FROM chunks
WHERE article_id = ANY(:ids) AND lang = 'zh'          -- 业务过滤
ORDER BY emb <=> :qvec LIMIT 50;                       -- 向量近邻

HNSW 的过滤是 post-filter 倾向(图遍历中被过滤掉的邻居照样消耗 ef_search 预算):过滤条件命中率高(>10%)时没问题;过滤后只剩千分之几时 recall 会崩。对策三选一:调大 ef_search、把高频过滤维度做进复合索引思路(pgvector 无原生带标量过滤的 HNSW,社区方案是分区表按 lang/tenant 切分)、或应用层两段查(先取候选 id 集合再向量排)。

迭代式索引扫描(pgvector 0.8+ hnsw.iterative_scan)正是为过滤场景补的课:自动继续遍历直到凑够 k,设 relaxed_order 平衡内存。

三、混合检索:向量 + tsvector 的 RRF 融合

纯向量对型号名、错误码、专有名词召回差(此前 RAG 篇的结论),PG 里加全文是顺手的事:

ALTER TABLE chunks ADD COLUMN tsv tsvector
  GENERATED ALWAYS AS (to_tsvector('simple', heading || ' ' || body)) STORED;
CREATE INDEX ON chunks USING gin (tsv);

WITH vec AS (
  SELECT id, row_number() OVER (ORDER BY emb <=> :qvec) r
  FROM chunks WHERE article_id = ANY(:ids) LIMIT 100
), lex AS (
  SELECT id, row_number() OVER (
    ORDER BY ts_rank_cd(tsv, websearch_to_tsquery('simple', :kw)) DESC) r
  FROM chunks WHERE tsv @@ websearch_to_tsquery('simple', :kw) LIMIT 100
)
SELECT c.id, sum(1.0/(60 + r)) AS rrf
FROM (SELECT id,r FROM vec UNION ALL SELECT id,r FROM lex) x
JOIN chunks c USING (id)
GROUP BY c.id ORDER BY rrf DESC LIMIT 8;

RRF(倒数排名融合)不需要统一分数标度,两路各取 top100、k=60 是稳定起点。中文全文用 zhparser/pg_jieba 扩展或直接用 simple + 应用侧分词写冗余列。这套方案替代了独立的 BM25 服务——少一个组件就少一类同步故障。

四、容量边界:什么时候 pgvector 撑不住

经验阈值(HNSW,单节点):

向量规模 状态
<100 万 × 1024 halfvec 舒适区;索引 ~2GB 内存可全常驻
100~1000 万 可行但要算内存账:HNSW 约 维度×2字节×rows×1.5,需专用实例 + 分区
>1000 万 或 QPS>500 KNN 换专用引擎(Milvus/Qdrant/Turbopuffer)或分片

三个隐性成本:索引构建时间(千万级 HNSW 建数小时,用并行 max_parallel_maintenance_workers + 分批)、内存映射(HNSW 图随机访问模式对 shared_buffers 不友好,OS cache 也要预算)、更新放大(embedding 模型换代 = 全表重算重插,设计时把 model_version 列进 schema,新旧索引双跑切换)。

五、与业务事务的一致性红利

pgvector 最大的架构收益常被忽略:嵌入与源数据同事务。文章发布 → 切分 → 嵌入 → 写 chunks 表,一个事务提交;删文章级联删向量;备份恢复后检索自动一致。专用向量库则要维护"DB-向量库"同步链路(outbox/CDC),那是长期故障源。

运维侧:pgvector 索引纳入既有 pg_dump/物理备份、复制链(逻辑复制对 DDL 的限制注意扩展版本对齐);监控加两件事——pg_stat_statements 里 KNN 查询的 mean time、以及 ef_search 调整后的 recall 离线评估(拿标注集跑,别在线试)。

六、RAG 集成清单(对接检索管道篇)

  1. 切分块写 chunks(heading 拼入嵌入文本,元数据列齐);
  2. 召回:向量 top100 + tsvector top100 → RRF → top30 进重排;
  3. 重排在应用侧 Cross-Encoder(不在数据库做),取 top5 组上下文;
  4. 版本化:model_version + 双列(emb_v1/emb_v2)滚动切换;
  5. 评估集挂 CI:recall@50/MRR 用 SQL 可复现,管道改动可归因。

小结

pgvector 在 2026 年的能力面(HNSW + halfvec + 迭代扫描 + tsvector 全文同库 RRF)已覆盖千万向量以内、中等 QPS 的绝大多数业务 RAG。选型判据按容量表走:舒适区留在 PG,边界外才引入专用引擎——且要连同同步链路成本一起计。参数上只调两个旋钮(ef_search 换 recall、分区/两段查救过滤场景),一致性红利(同事务、同备份链)才是它相对专用库的真正护城河。

读完了?给作者一点支持

本文采用 CC BY 4.0 协议转载 · © 半山听雨

评论(0)

登录 后参与评论。

  • 还没有评论,来抢沙发。

🔗 相关文章

审计人的职业规划地图:事务所、企业内审、监管与自由执业的四条路线

"做了三年审计接下来去哪"是行业论坛上的永恒问题。2026 年的就业市场给出了新的答案坐标:AI 压缩了基础核算与核对类岗位,同时抬高了风险判断、内控体系、数据审计类岗位的身价。本文把审计人的出路整理成四条主路线——事务所纵深、企业内审/风控、监管与准则机构、自由执业/专家证人——每条给进入条件、典型轨迹、5 年收入区间感与适配画像,帮你做一次结构化的自我定位。

2 天前👍 1

显卡算力十一月观察:Vera Rubin 接棒与推理性价比的重算

2026 年 11 月,GPU 算力市场进入 Vera Rubin 接棒期:vLLM 官方数据显示 Vera Rubin NVL72 对 GB200 NVL72 达 7.8 倍单卡吞吐(10-09),对 GB300 NVL72 在 DeepSeek-V4.1-Flash 上达 58 倍同等交互性吞吐(11-12);NVIDIA 同时发布 RTX Spark 紧凑桌面(11-18)与 DGX Spark 开发者套件(11-16),Lambda 则引入光互连提升 AI 工厂弹性(11-16)。代际跳跃幅度如此之大,意味着一年前的算力成本模型已经作废。本文给工程团队一份重算框架与采购/租赁决策清单。

1 小时前👍 1

AI 正在怎样改变审计工作:一份可落地的工具地图与边界清单

"AI 取代审计师"是标题党,"AI 不改审计流程"是天真的。2026 年的真实图景是:审计的每个环节都出现了成熟度不一的 AI 应用——有的已进四大方法论并受监管审视(分析程序、抽凭),有的仍处试点(风险评价辅助),有的干脆不该用(对管理层意图的判断)。本文按审计流程逐环节给出一份工具地图:能做什么、成熟度如何、边界在哪,以及从业者该怎么上手。

2 天前👍 1