Frontier / 01 · AI SYSTEM

PagedAttention 与分页式 KV Cache

显存拥塞究竟来自模型权重，还是来自每个请求不断增长的 KV 账本？

显存管理的对象不是一个上下文，而是许多长度不同的 KV 块；分页把外部碎片转成可计算的块预算。

解释图逻辑上下文如何落到物理 KV 块

分页把连续上下文需求与物理显存分配解耦，收益由请求长度分布和块大小共同决定。

Research notes / 两篇结构

先建立模型，再用实验拆边界

01旗舰研究LLM / Agent2026年10月14日7 分钟

从 PagedAttention 的块表、共享与连续批处理出发，理解高并发推理为何首先是一场 KV 显存管理问题。

KV CachePagedAttentionvLLM

02实验LLM / Agent2026年10月13日4 分钟

用可复算的字节公式估算长上下文服务容量，并解释分页的尾部浪费与容量边界。

KV Cache容量规划模拟

Instrument

按默认参数，每个 token 的 KV Cache 为 128 KiB；16 路并发、8K 上下文需要约 16 GiB，仅缓存本身就已经接近一张大显存加速卡。

Transformer 层数32 每层都保存自己的 K/V

KV heads8 GQA/MQA 会显著降低该值

Head dimension128 单个注意力头的宽度

上下文长度8192 tokens每个请求需要保存的 token 数

Primary sources / 一手证据

Cross-domain synthesis

01综合研究综合研究2026年10月18日6 分钟

把 KV Cache、FlashAttention、端侧模型与存算一体放进同一张数据移动账本，理解 AI 系统的真正成本。

内存层级KV CacheFlashAttention