pgvector 调优续篇:向量索引的分片与混合检索
RAG 落地后的第一波调优(索引选型、距离函数)走完后,规模上去会遇到第二波问题:单表上亿向量后 HNSW 建索引越来越慢、召回率与延迟开始互相拉扯、纯向量检索的语义漂移需要关键词兜底。本文是 pgvector 调优的第二篇:分片策略、HNSW 参数进阶与混合检索的落地。
一、规模分水岭:什么时候开始分
单表向量规模的经验分水岭:
| 规模 | 建议 |
|---|---|
| <100 万 | 单表 + ivfflat/hnsw,无需分片 |
| 100 万~5000 万 | 分区表(按业务域/时间),HNSW 每分区建 |
| >5000 万 | 分区 + 应用层路由,或评估专用向量库 |
分区是 PG 里最自然的"分片":按业务键分区后,查询路由只打一个分区的 HNSW 索引,建索引时间与单分区规模挂钩:
-- 按文档域分区 + 每分区 HNSW
CREATE TABLE embeddings (
id bigserial,
doc_domain text NOT NULL,
chunk text,
embedding vector(1024),
PRIMARY KEY (doc_domain, id)
) PARTITION BY LIST (doc_domain);
CREATE TABLE embeddings_kb PARTITION OF embeddings FOR VALUES IN ('kb');
CREATE TABLE embeddings_faq PARTITION OF embeddings FOR VALUES IN ('faq');
CREATE INDEX ON embeddings_kb USING hnsw (embedding vector_cosine_ops)
WITH (m = 24, ef_construction = 128);
二、HNSW 参数进阶:m 与 ef 的取舍
第一波调优通常只碰 ef_search(查询时)。第二波要碰建索引参数:
| 参数 | 影响 | 调整方向 |
|---|---|---|
| m | 每节点出边数 | 召回↑内存↑;16→32 适合高要求场景 |
| ef_construction | 建图搜索深度 | 建索引时间↑质量↑;默认64,高召回用128 |
| ef_search | 查询候选池 | 延迟↑召回↑;用真实查询分布扫参 |
扫参脚本:固定查询集,遍历 ef_search 找召回/延迟平衡点:
#!/bin/bash
# tune-ef.sh:用固定查询集扫描 ef_search
# queries.txt:预先准备的真实查询向量(一行一个向量文本)
for ef in 40 80 160 320; do
psql -Atc "SET hnsw.ef_search=$ef;" > /dev/null
start=$(date +%s%N)
recall=$(psql -Atf eval_recall.sql $ef 2>/dev/null)
end=$(date +%s%N)
echo "ef_search=$ef recall=$recall latency_ms=$(( (end-start)/1000000 ))"
done
# 以"召回达标前提下延迟最低"为选点原则
召回评估的正确姿势:以精确检索(不建索引的顺序扫描)的 top-K 为基准集,计算交集比例:
-- eval_recall.sql:召回率评估(K=10)
WITH truth AS (
SELECT id FROM embeddings_kb
ORDER BY embedding <=> (SELECT embedding FROM embeddings_kb LIMIT 1 OFFSET 42)
LIMIT 10
)
SELECT round(100.0 * count(*) / 10, 1) AS recall_pct
FROM (
SELECT id FROM embeddings_kb
ORDER BY embedding <=> (SELECT embedding FROM embeddings_kb LIMIT 1 OFFSET 42)
LIMIT 10
) approx
JOIN truth USING (id);
三、混合检索:向量与关键词的融合
LLM 时代纯向量检索的经典失败模式:专有名词(产品代号、错误码)语义漂移,向量找不回,关键词一击命中。混合检索的落地在 PG 里很直接——全文检索与向量检索各查一路,融合排序:
-- 混合检索:向量相似 + tsvector 全文匹配加权融合
WITH vec AS (
SELECT id, 1 - (embedding <=> $1) AS score
FROM embeddings_kb
ORDER BY embedding <=> $1 LIMIT 50
), kw AS (
SELECT id, ts_rank(tsv, websearch_to_tsquery('simple', $2)) AS score
FROM chunks WHERE tsv @@ websearch_to_tsquery('simple', $2)
LIMIT 50
)
SELECT id,
COALESCE(v.score,0) * 0.7 + COALESCE(k.score,0) * 0.3 AS final
FROM vec v FULL JOIN kw k USING (id)
ORDER BY final DESC LIMIT 10;
权重(0.7/0.3)按业务查询类型分桶调:专有名词查询提高关键词权重。tsvector 列与向量索引并存,写入路径统一维护。
四、写入路径:批量导入的窗口期策略
分片后的大规模重建(换模型重嵌入)是常态操作。要点是"分区并行建索引 + 维护窗口":
# 逐分区并行建 HNSW(走不同分区互不阻塞)
psql -c "CREATE INDEX CONCURRENTLY ON embeddings_kb USING hnsw (embedding vector_cosine_ops) WITH (m=24, ef_construction=128);" &
psql -c "CREATE INDEX CONCURRENTLY ON embeddings_faq USING hnsw (embedding vector_cosine_ops) WITH (m=24, ef_construction=128);" &
wait
# CONCURRENTLY 避免锁全表,但耗时更长——离线重建用普通 CREATE INDEX 更快
小结
pgvector 第二波调优的三个抓手:规模分水岭上分区表(每分区独立 HNSW)、建索引参数 m/ef_construction 与查询 ef_search 联动扫参(以精确检索为基准评估召回)、向量+全文的混合检索兜底语义漂移。上亿规模后认真考虑"PG 为主还是专用向量库为主"的架构题——但在此之前,分区与混合检索通常还能再撑一年。
评论(0)
登录 后参与评论。