每 token 缓存
131,072Blayers × KV heads × head_dim × 2 × bytesInstrument / kv-budget
在给定显存预算下，长上下文和并发量哪个更快压垮服务？
按默认参数，每个 token 的 KV Cache 为 128 KiB；16 路并发、8K 上下文需要约 16 GiB，仅缓存本身就已经接近一张大显存加速卡。
回到 Paged KV 研究档案Interactive model / software simulation
KV Cache 容量与分页预算
改变层数、KV heads、上下文和并发数，观察显存从“每 token 字节”增长为整机容量约束。
缓存仍可容纳，但延迟会随并发和块分配碎片上升；继续观察尾延迟。
总缓存
16GiB不含权重、激活与 allocator 余量每 MiB 可存 token
8tokens单序列容量，不含碎片EVIDENCE NOTE
软件预算模型；不代表特定 GPU 或推理框架的实测吞吐。
Primary reading