InferFlux — 输入吞吐计算器

输入吞吐计算器 ← 首页输出吞吐计算器 PD 分离模拟器

吞吐

输入吞吐（含 cached） —

计算吞吐（uncached） —

单副本单请求 prefill —

全系统并发（prefill 槽） —

MFU 公式

显存可行性

KV 预算（每副本） —

KV 可容纳 token 数 —

最大并发请求数 —

KV cell size（每 token） —

MFU 反推

GEMM MFU（实测） —

Total FLOPs MFU（含 attention） —