#推理优化

KV Cache 为什么能加速推理？一个自注意力视角

从 Transformer 自注意力公式推导 KV Cache 的保存对象与显存权衡。