推理优化 · LLM / Agent 经验

KV Cache 为什么能加速推理？一个自注意力视角

从 Transformer 自注意力公式推导 KV Cache 的保存对象与显存权衡。