worker_threads 实战,CPU 密集负载的正确出口
Node 的单线程事件循环在 I/O 密集场景如鱼得水,但一碰 CPU 密集任务(图片压缩、大 JSON 序列化、加密运算、模板渲染)就会阻塞整个进程——所有并发请求陪着一个重计算一起卡住。worker_threads 是官方给这类负载的出口:每个 worker 是独立的 V8 实例与事件循环,多核并行不阻塞主线程。本文讲清 worker_threads 的适用边界、线程池的正确封装与数据传输的性能账本。
一、先判断:你的任务需要 worker 吗
不是所有"慢"都需要 worker,先分类:
| 任务类型 | 主线程影响 | 方案 |
|---|---|---|
| I/O 密集(DB/HTTP/文件) | 无阻塞,事件循环处理 | 不需要 worker |
| 短 CPU 计算(<10ms) | 轻微延迟 | 可接受,无需 worker |
| 中等 CPU(10~100ms) | 明显请求延迟毛刺 | worker 线程池 |
| 重 CPU(>100ms,图片/视频/加密) | 阻塞秒级 | worker 线程池(必选) |
判断标准是事件循环滞后(第十章 eBPF 与 monitorEventLoopDelay 已讲过观测方法):CPU 任务期间 elp99 突升,就是该上 worker 的信号。另一个反直觉的边界:worker 启动本身有成本(创建 V8 实例约几十毫秒 + 模块加载),单次小任务直接算可能更快——所以"线程池 + 任务队列"是标准形态,而不是"每次 new Worker"。
二、线程池封装:piscina 或手写
生产首选现成池库(piscina),语义清晰且内置任务队列:
// piscina 方式
import Piscina from "piscina";
const pool = new Piscina({
filename: "./workers/compress.js",
maxThreads: 4, // 默认 CPU 核数,按任务类型调整
maxQueue: 1000,
idleTimeout: 30000,
});
app.post("/api/compress", async (req, res) => {
const result = await pool.run({ buf: req.body, quality: 80 });
res.json({ size: result.size });
});
// workers/compress.js —— worker 文件只做一件事
export default function compress({ buf, quality }) {
// 这里的重计算跑在独立线程,不阻塞主线程
return sharpLikeCompress(buf, quality);
}
手写线程池的核心骨架(理解原理用):
import { Worker } from "node:worker_threads";
class WorkerPool {
#workers = [];
#queue = [];
#free = [];
constructor(file, size) {
for (let i = 0; i < size; i++) {
const w = new Worker(file);
w.on("message", (msg) => this.#release(w, msg)); // 任务完成
w.on("error", (err) => this.#release(w, null, err));
this.#free.push(w);
}
}
run(task) {
return new Promise((resolve, reject) => {
const job = { task, resolve, reject };
const w = this.#free.pop();
if (w) w.postMessage(task); // 有空闲 worker 立即派发
else this.#queue.push(job); // 否则排队
});
}
#release(w, msg, err) {
const job = this.#queue.shift();
if (job) { // 取队首任务继续派发给该 worker
err ? job.reject(err) : w.postMessage(job.task);
// 注意 resolve 时机:message 事件里对应处理
} else {
this.#free.push(w);
}
if (err) throw err;
}
}
关键设计点:worker 复用(避免反复创建 V8 实例)、队列上限(防内存爆,队列满直接 429/503)、错误隔离(worker crash 要自动重建)。
三、数据传输的性能账本
worker 与主线程的数据传递是性能大头,三种方式成本差异巨大:
| 方式 | 机理 | 适用 |
|---|---|---|
| 结构化克隆(默认) | 深拷贝,大数据慢 | 小对象、简单结果 |
| Transferable(ArrayBuffer 转移) | 零拷贝所有权转移 | 大 Buffer/TypedArray |
| SharedArrayBuffer | 共享内存,双方可见 | 高频共享、配合 Atomics |
// Transferable 示例:大 Buffer 零拷贝
const ab = req.body.buffer; // ArrayBuffer
const result = await pool.run(ab, { transferList: [ab] });
// 转移后主线程的 ab 不再可用(所有权已交出)——这是语义而非 bug
// SharedArrayBuffer + Atomics 的计数器共享
const sab = new SharedArrayBuffer(8);
const counter = new Int32Array(sab);
Atomics.add(counter, 0, 1); // 原子操作,跨线程安全
账本结论:1MB 以上 Buffer 一律用 TransferList(结构化克隆 1MB 约需几毫秒且产生 GC 压力,转移近乎零成本);跨线程高频读写的小状态用 SharedArrayBuffer;其余结构化克隆即可。
四、坑与边界
| 坑 | 现象 | 应对 |
|---|---|---|
| worker 里 require 主进程单例 | 每个线程独立模块实例 | 状态不可跨线程共享,显式传递 |
| 闭包/函数无法 postMessage | "could not be cloned" 报错 | 任务参数必须是可序列化数据 |
| 每个 Worker 无上限创建 | 内存与调度爆炸 | 池化,maxThreads ≈ CPU 核数 |
| worker 异常未捕获 | 进程整体退出 | worker.on("error") 必须接管 |
| Transfer 后继续用原对象 | undefined / 数据丢失 | 转移语义:原引用视为已失效 |
| 阻塞 worker 的事件循环 | 池吞吐假死 | worker 文件里也避免同步大循环;重计算分片 |
最后一个坑最容易忽视:worker 内部同样有事件循环。如果 worker 文件里既做重计算又监听消息,重计算期间它也无法响应新消息——池的并发度会被"单 worker 内串行"限制。重计算任务要么设计成纯函数(跑完即回),要么在 worker 内再做子任务分片。
五、与替代方案的选型
| 方案 | 定位 | 选它当 |
|---|---|---|
| worker_threads | 进程内多线程 | 常态化 CPU 任务、需要低延迟接入 |
| child_process/cluster | 进程级隔离 | 需要故障隔离或独立依赖环境 |
| N-API addon | 原生扩展内置线程 | 已有 C++ 生态、极致性能 |
| WebAssembly | 沙箱计算 | 跨语言算法、可移植的 CPU 模块 |
选型口诀:常态 CPU 任务用 worker_threads,隔离需求用进程,已有原生库用 N-API,跨语言算法看 WASM。四者可以组合(worker 里跑 N-API 的多线程池是图片服务的常见架构)。
小结
worker_threads 是 CPU 密集负载的标准出口:先按事件循环滞后再按任务时长判断是否需要,然后一律走"线程池 + 任务队列"形态,大数据传输用 Transferable 零拷贝。 三个纪律:maxThreads 对齐 CPU 核数、worker 内避免再阻塞事件循环、错误必须接管并自动重建。与 child_process/N-API/WASM 按需组合,不要为了"用上多核"而把 I/O 任务也塞进 worker——那是浪费。
评论(0)
登录 后参与评论。