InferFlux — 输出吞吐计算器

硬件

GPU 型号

张量并行 TP

数据并行 DP

专家并行 EP

EP 只影响显存（不进带宽公式）

Decode 实例数

模型

模型预设

MBU

显存带宽利用率，decode 典型 0.6～0.9

MFU（算力上限）

仅在 verify 算力打满时生效（大 batch/长 ctx/大 k）

负载

输入长度 (token)

输出长度 (token)

用于估 decode 期间平均 KV 长度

Decode 批大小 B

单 decode 实例并发 running 请求数（每实例）

KV 显存占比

如 0.8 = 80% HBM 给 KV，其余给权重+激活

MTP / 投机解码

MTP 草稿数 k

每步额外预测的 token 数；0=关（纯逐 token decode）

草稿接受率 α

每个草稿 token 被接受的概率，典型 0.7～0.9

实测 acceptLen（可选）

填了则直接用，绕开几何链假设

MBU 反推（可选）

实测 TPOT (ms)

填入实测每 token 延时反推实际 MBU

实测输出吞吐 tok/s

全系统口径（含 numD×DP）；由吞吐反推 MBU

吞吐与延时

输出吞吐（全系统） —

TPOT 每 token 延时（有效） —

单实例输出吞吐 —

decode step 墙钟 —

全系统并发（running 请求） —

TPOT / MBU 公式

Decode roofline（权重 vs KV 瓶颈）

权重字节/步（全批摊薄） —

批内 KV 字节/步 —

瓶颈拐点批大小 B* —

显存可行性

KV 预算（每副本） —

KV 可容纳 token 数 —

最大可容批大小 B —

KV cell size（每 token） —

MBU 反推

实测 MBU（由 TPOT） —

实测 MBU（由输出吞吐） —