PostgreSQL 连接管理:PgBouncer、PgDog 与 max_connections 的容量规划
PG 的连接成本模型(每连接一个进程)决定了它比多数数据库更早撞上连接墙:几百个空闲连接就能吃掉数 GB 内存并推高锁竞争。2026 年的连接层选择也更丰富:PgBouncer(经典轻量)、PgDog(Rust 新贵,支持会话级 prepared 透传与多路复用)。本文给一套容量规划公式、池模式选择与故障场景手册。
一、先算账:连接数上限怎么定
服务端内存 ≈ max_connections × (work_mem + 每进程开销 ~10MB) + shared_buffers
安全连接数 ≈ CPU核数 × 2 (有效并发,不是连接数)
反直觉但关键:max_connections 设 500 不代表能扛 500 并发查询——超过核数后吞吐下降、延迟上升。正确结构是"应用小池 + 中间层复用":
# PG 侧
max_connections = 200 # 留 10% 给超级用户/maintenance
superuser_reserved_connections = 5
# PgBouncer 侧
[pgbouncer]
pool_mode = transaction
default_pool_size = 25 # 每 (db,user) 到 PG 的真实连接
max_client_conn = 5000 # 客户端侧可接的虚连接
transaction pooling 是默认答案:应用连接池(如 Go 的 sql.DB、Node 的连接池)保持小(每实例 ≤ CPU×2),PgBouncer 把数千客户端连接复用到几百个服务端连接。
二、三种池模式的语义差异
| 模式 | 隔离单位 | 兼容特性 | 适用 |
|---|---|---|---|
| session | 会话(1:1) | 全部特性可用 | 遗留应用(用 SET/临时表/LISTEN) |
| transaction | 事务 | prepared(需透传)、SET 泄漏风险 | OLTP 默认 |
| statement | 语句 | 最严限制 | 极简单查询网关(少见) |
transaction 模式的三大经典坑(与 MySQL/PgBouncer 篇一致,这里给处置):
- prepared statement:PgBouncer ≤1.21 需要应用关 PS;新版
server_prepared_statements=on透传后基本解决——但跨连接失效语义仍在(PS 名绑 server 连接),JDBC/psql 的 PS 缓存要配小; - SET/临时表/LISTEN NOTIFY/advisory lock:绑定 server 连接,事务边界切换即丢——代码审计清单化,改表结构或 Redis 实现;
- 长事务卡池:一个未提交事务占住 server 连接,pool_size 小则全应用排队。对策:
query_wait_timeout+ PG 侧idle_in_transaction_session_timeout = 30s双保险。
三、PgDog:新一代连接层的差异点
PgDog(Rust,2025 GA)针对 PgBouncer 的痛点重做了连接层:
- 多进程无锁扩展:单实例吞吐高一个量级,适合网关集中化部署;
- prepared statement 全兼容(代理侧维护映射),transaction pooling 下应用 PS 不再需要关;
- 内置分片路由与读写分离(连接串直接配 replica 权重)——它同时是 pooler 和轻量 router。
选型判据:现有 PgBouncer 栈稳定就不必换;新建集中式数据访问网关、或需要在连接层做读路由/PS 兼容,PgDog 值得试点。两者都要配 health check + 故障摘除(Patroni HA 篇的接入层角色)。
四、应用侧连接池参数基线
// Go database/sql(pgxpool 同构)
db.SetMaxOpenConns(25) // ≤ (PgBouncer default_pool_size / 实例数) × 1.5
db.SetMaxIdleConns(25) // = MaxOpen,防建连风暴
db.SetConnMaxLifetime(30 * time.Minute) // < PgBouncer server_lifetime & LB idle 超时
一致性规则(与连接池篇同源):应用 connMaxLifetime < 中间层 server 空闲超时 < PG 侧 idle_in_transaction/keepalive,三层错开防竞态断连。Node 侧 pg 库的 max、Java HikariCP 的 maximumPoolSize 同理按"实例数 × max ≤ PgBouncer pool_size × 1.5"核算。
五、故障场景手册
场景一:连接风暴(发布/重启瞬间几千客户端同时重连)
对策:应用池带 jitter 重连退避;PgBouncer max_client_conn 有上限会排队而不是打穿 PG;PG 侧 backlog 与 OS somaxconn 对齐。
场景二:连接泄漏定位
SELECT application_name, usename, client_addr, state, count(*),
max(now()-state_change) AS idle_for
FROM pg_stat_activity GROUP BY 1,2,3,4 HAVING count(*)>5 ORDER BY count(*) DESC;
application_name 规范是排查前提——每个服务显式设置 application_name(连接串参数),否则泄漏源无法归因。
场景三:切换后连接残留(HA failover 后旧 leader 的 TCP 未断)
接入层必须主动 kill(PgBouncer RECONNECT / PgDog health check 摘除),应用侧配读超时兜底;演练时把"切换后 60s 内活跃连接全部指向新主"列为验收项。
六、可观测三指标
PgBouncer: SHOW POOLS(cl_active/cl_waiting/sv_active)——waiting>0 即容量不足信号
PgDog/网关: 每 backend 连接复用率、错误率
PG: pg_stat_activity 按 state 分布 + max_connections 使用率(>80% 告警)
容量验证用压测闭环:pgbench -c N 阶梯加压,观察 cl_waiting 出现点与 PG 吞吐拐点的关系——池参数应设在拐点左侧,而不是等生产撞墙。
小结
PG 连接管理的公式是:服务端有效并发 ≈ 核数×2,应用小池 + PgBouncer/PgDog transaction pooling 承接虚连接;三层超时(应用 lifetime < 中间层空闲 < PG 事务超时)错开防竞态。transaction 模式三坑(PS/SET/长事务)用 server_prepared_statements、代码审计清单和 idle-in-transaction 超时分别封死。选型上存量 PgBouncer 不折腾,新建网关评估 PgDog;把 application_name 规范与 SHOW POOLS 指标接进监控后,连接问题从"应用莫名变慢"变成可定位的容量曲线。
评论(0)
登录 后参与评论。