MySQL 与对象存储分层:把冷数据搬出去,把备份成本降下来
内容型业务的数据库里,大部分行是写一次读零次的。文章正文历史版本、操作日志、导出任务记录——这些留在 InnoDB 里既拖慢备份又吃 buffer pool。2026 年的存储现实是对象存储便宜到近乎免费(标准存储约每 GB 每月几分钱),冷热分层的技术门槛也早已降低。本文给一套 MySQL 侧可执行的分层方案:归档表设计、透明访问路径、以及与备份体系的联动。
一、先量化"冷"再动手
-- 按时间分布看体量与占比(以文章为例)
SELECT DATE_FORMAT(created_at,'%Y') y, COUNT(*) n,
ROUND(SUM(LENGTH(content))/1e9,2) content_gb
FROM articles GROUP BY y ORDER BY y;
-- 访问侧:从库/审计日志里按主键区间采样读分布(有 P_S 更好)
SELECT event_name, object_name, count_read, count_fetch
FROM performance_schema.table_io_waits_summary_by_table WHERE object_schema='okgoes';
判据:90 天规则——绝大多数内容系统 90 天前的数据月访问量 <1%。同时看两个成本:备份体积(全量备份时间线性增长)与 buffer pool 污染(冷表偶尔被扫)。两者都显著才值得分层,只有一点点就维持现状。
二、分层架构的三种形态
形态 A:归档表 + 同库分区(最简单,先做这个) 按时间 RANGE 分区主表,DROP PARTITION 秒级清理;归档查询走分区裁剪。适合"保留期明确"的日志类数据。
ALTER TABLE op_logs PARTITION BY RANGE (TO_DAYS(created_at)) (
PARTITION p202609 VALUES LESS THAN (TO_DAYS('2026-10-01')),
PARTITION p202610 VALUES LESS THAN (TO_DAYS('2026-11-01')),
PARTITION pmax VALUES LESS THAN MAXVALUE
);
ALTER TABLE op_logs DROP PARTITION p202509; -- 秒级删除一年前数据
形态 B:大字段垂直拆出 + 对象存储(内容系统核心收益)
把 content/cover_image_url 这类大 blob 移出主表:主表存元数据与摘要,正文进对象存储(本项目 MinIO 已是现成设施),MySQL 只存 key。
CREATE TABLE articles (
id BIGINT PRIMARY KEY AUTO_INCREMENT,
code VARCHAR(16) UNIQUE, title VARCHAR(300), summary VARCHAR(500),
content_key VARCHAR(255), -- s3://articles/2026/11/{uuid}.md
word_count INT, status TINYINT, author_id BIGINT,
created_at TIMESTAMP, updated_at TIMESTAMP,
INDEX idx_author_created(author_id, created_at)
);
读路径:详情接口按 key 取对象(CDN 可缓存),列表页只用 summary——InnoDB 表体积骤降一个数量级,备份与 buffer pool 同时受益。写路径要处理一致性:先传对象后提交事务 + 孤儿对象清理任务(key 带时间前缀便于批量回收)。
形态 C:归档库/引擎下沉(大规模才需要) 冷数据定期导出 Parquet 到对象存储,查询走 DuckDB/ClickHouse/Doris 外表。适合"保留数年 + 偶尔要查"的审计场景;中小规模用不到这一层。
三、透明访问的工程细节
分层后最难的不是搬数据,是读路径的一致性体验:
- 路由规则显式化:DAO 层按时间阈值路由(
created_at < now-90d → 归档源),别在 SQL 里 UNION 冷热两源; - 对象存储的延迟预算:同区域内网 GET 5~20ms,跨区 100ms+。正文读取加 Redis 缓存(key=content_key,TTL 按编辑频率);
- 一致性兜底:对象写成功、DB 提交失败 → 孤儿对象(定时清);DB 行在、对象丢了 → 读接口降级显示 summary + 告警。别追求跨存储事务,接受最终一致并监控缺口;
- 权限与 URL:私有桶走签名 URL(有效期按页面生命周期),公开资源走 CDN——把"谁能读冷数据"的决策收在签发环节。
四、与备份体系的联动
分层后备份策略同步瘦身:
- 主库体积下降 → L1 全量备份窗口缩短,PITR 重放更快;
- 对象存储自身纳入备份面:开启版本化 + 跨区域复制(内容正文是"事实数据源",丢了等于真丢了);
- 归档导出文件(Parquet/CSV.gz)带校验和存两份,命名含表+区间,恢复时可按区间补灌。
# MinIO/S3 版本化 + 生命周期:对象层也做冷热
mc ilm rule add okgoes/articles --expire-days 2555 \
--transition-storage-class STANDARD_IA --prefix "articles/2024/"
五、迁移执行:双写 → 回填 → 切读
与分库分表同款的四步安全流程,规模小一档:
- 双写:新数据同时写主表大字段列 + 对象存储(观察一周错误率);
- 回填:存量按 id 分批搬进对象存储,每批校验长度/哈希后标记
content_key已迁移; - 切读:读接口按"key 非空走对象、为空走列"过渡,监控两路命中率;
- 删列:大字段列置 NULL(分批 UPDATE)→ 表 OPTIMIZE/rebuild 回收空间 → 最终 DDL 删列。
每一步可回退(列还在、数据没删),这是整个流程的核心保险。
六、成本核算模板
搬完要能回答"省了多少":
备份成本:全量大小 × 备份频率 × 存储单价
实例成本:buffer pool 需求下降 → 可否降一档内存规格
时间成本:备份窗口、DDL 耗时、从库延迟改善(定性)
新增成本:对象存储请求费 + 流量费 + 运维复杂度(诚实计入)
内容系统做形态 B 的典型结果:主表缩 60~85%,备份快一个数量级,列表页查询受益明显;代价是详情读多一跳网络——用缓存与 CDN 摊平。
小结
MySQL 冷热分层的正确顺序:先分区(DROP PARTITION 解决日志类)→ 再拆大字段进对象存储(内容系统的最大收益点)→ 大规模才上归档引擎。工程关键在一致性体验:显式路由、最终一致 + 缺口监控、签名 URL 收权限;迁移走双写-回填-切读-删列四步保回退。备份体系要同步覆盖对象存储(版本化 + 跨区复制),否则分层只是把单点风险挪了个位置。做完这一层,数据库回到它擅长的事:索引、事务与热数据。
评论(0)
登录 后参与评论。