Token 经济学:从"没有一台服务器闲置"看推理基建的需求侧
2026 年 11 月 19 日的财联社电报里,两组发言值得并排读:联想杨元庆在业绩会上回应 AI 回报担忧——"云厂商下游客户称没有一台服务器是闲置的",并称全球词元(Token)消耗量正在井喷式增长;同日联想 Q2 财报显示 AI 服务器营收同比超 300%、储备订单约 5300 亿元。供给侧在讲杠杆风险(Anthropic 的 RPO 65 倍),需求侧在讲真实消耗。本文从需求侧切入:Token 消耗的结构、预测方法与推理基建的容量规划。
一、Token 消耗为什么"井喷":三个结构性来源
杨元庆点出的"从训练走向推理、应用场景扩展"背后,Token 消耗有三个结构性增长源:
Token 消耗的三源结构
├─ 源1:Agent 化的乘数效应
│ 一次人工对话 ≈ 数千 token;
│ 一个 Agent 任务 = 多轮工具调用 + 长思考链,
│ 消耗数十倍——Agent 渗透率每升 10%,
│ Token 消耗翻数倍
├─ 源2:推理模型的思考链
│ o1/R1 类模型回答一个问题时先生成数千字推理链,
│ 同样的问题"思考版"消耗 5~20 倍 token
├─ 源3:多模态与长上下文
│ 图像/音频 token 化 + 百万上下文窗口,
│ 单请求消耗上限被打开
└─ 合力:价格降(Hy4 flash 类 1/20 成本)×
消耗升(三源叠加)= 用量曲线陡峭上行
第三源与价格下降的联动最关键:每次成本量级下降都会解锁一批原本不经济的高消耗场景(第 10 章成本-应用解锁曲线)——价格越降,井喷越猛。
二、推理基建的容量规划:把 Token 需求换成卡数
基建团队的核心换算:业务 Token 需求 → 显存与算力需求 → 服务器数量。三步换算的实操:
# token_to_gpu.py:Token 需求到服务器数量的换算
def gpu_planning(daily_tokens_b: float, model_active_b: float,
p95_ps: int, gpu_tps: float = 30000):
"""
daily_tokens_b: 日消耗(十亿 token)
model_active_b: 模型激活参数(十亿)
p95_ps: P95 每用户生成速度要求(token/s)
gpu_tps: 单卡实测吞吐(token/s,含批处理)
"""
# 1. 算力需求:日 token × 每 token FLOPs(2N 近似)
daily_flops = daily_tokens_b * 1e9 * 2 * model_active_b * 1e9
# 2. 卡数:按日 FLOPs / 单卡日有效算力
cards_flops = daily_flops / (3e14 * 86400 * 0.5) # 50% 利用率
# 3. 延迟约束:P95 速度要求决定的最低并行度
cards_latency = daily_tokens_b * 1e9 / 86400 / gpu_tps
return max(int(cards_flops) + 1, int(cards_latency) + 1)
n = gpu_planning(daily_tokens_b=50, model_active_b=40,
p95_ps=200, gpu_tps=30000)
print(f"日消耗 50B token(40B 激活模型)→ 约 {n} 卡集群")
# 结果展示的是方法论:真实数字以单卡实测吞吐代入
# ——"井喷"的 Token 需求最终都落到这张换算表上
容量规划的两个工程纪律:按 P95 而非均值规划(交互体验的约束是尾部延迟,第十章 P90 387 tokens/s 口径同理);预留两阶段分离的弹性(Prefill/Decode 分池可独立扩容,DeepSeek-V4.1-Flash 的 954K tokens/s/GPU 即来自这类架构)。
三、利用率争议:怎么读"没有一台闲置"
"没有一台服务器闲置"是需求侧强信号,但要工程化地读——闲置与满载之间有巨大灰度地带:
利用率的三个层次(警惕统计口径)
├─ 设备层闲置:服务器开着没有负载("没闲置"的
│ 字面否定对象)——这层确实紧张
├─ 算力层利用率:GPU SM 实际占用率——
│ 推理服务的典型值远低于训练(访存受限),
│ "没闲置"≠"满算力"
├─ 有效性利用率:有效吞吐/峰值吞吐
│ (第15章三乘数:利用率×无故障时间占比)
└─ 判断行业过热与否的正确指标:
不是"有没有闲置机器",而是"有效算力的
边际成本是否低于其产出的边际价值"
这个区分对采购决策至关重要:设备紧张(没闲置)与算力过剩(有效利用率低)可以同时成立——买了大量卡但调度不佳的集群,机器全开着、有效算力却浪费一半。优化空间恰在这里。
四、给基建团队的三个行动项
<!-- inference-infra-checklist.md:推理基建行动清单 -->
- [ ] 建立 Token 消耗仪表盘:按业务线/模型/场景分维度,
周环比与预测曲线(井喷要提前一个季度看见)
- [ ] 成本分级:高频低难度调用迁小模型/flash 类
(混元 Hy4 flash 1/20 成本),旗舰留给复杂任务
- [ ] 架构升级评估:P/D 分离 + 连续批处理 + KV 量化
(vLLM 生态成熟组件),利用率三乘数逐个优化
- [ ] 合同弹性:算力采购保留缩容/转售条款
(Anthropic 65 倍的教训,反向适用于你)
# token_dashboard.py:消耗仪表盘的告警逻辑
def alert(consumption_week: list, model_mix: dict):
wows = [(c/p - 1) for p, c in zip(consumption_week, consumption_week[1:])]
wow = wows[-1] # 最新周环比
flags = []
if wow > 0.3:
flags.append(f"周环比 +{wow:.0%}:提前扩容评审")
if model_mix.get("flagship_share", 0) > 0.6:
flags.append("旗舰模型占比 >60%:分级迁移可省成本")
return flags
print(alert([100, 110, 125, 170], {"flagship_share": 0.65}))
# ['周环比 +36%:提前扩容评审', '旗舰模型占比 >60%:分级迁移可省成本']
小结
Token 经济学的需求侧视角:消耗的三源结构(Agent 乘数/思考链/长上下文)叠加价格下降形成井喷曲线;基建规划用"Token→FLOPs→卡数"换算并按 P95 约束;"没有一台闲置"要分层解读——设备紧张与有效算力浪费可以并存,优化空间在三乘数。供需两侧的张力(65 倍承诺 vs Token 井喷)是 2026-2027 年 AI 产业的主叙事——基建团队的胜负手,是把每一次井喷提前一个季度看见。
评论(0)
登录 后参与评论。