Frontier / 02 · AI SYSTEM

FlashAttention-2/3：把注意力写成 IO 问题

当 FLOPs 不再是瓶颈，注意力算法应该如何围绕 SRAM 与 HBM 重写？

注意力的性能上限由片外带宽和片上复用共同决定，FlashAttention 是用分块重写数据流，而不是近似替代。

解释图注意力的数据路径与片上复用

算法把 Q/K/V 分块搬入 SRAM，在线 softmax 避免写回完整注意力矩阵。

Research notes / 两篇结构

先建立模型，再用实验拆边界

01旗舰研究LLM / Agent2026年10月12日7 分钟

从 HBM/SRAM 层级解释 tiling、在线 softmax 与 FlashAttention-2/3 的并行和异步优化。

FlashAttention注意力机制GPU

02实验LLM / Agent2026年10月11日3 分钟

用算术强度、峰值算力和 HBM 带宽判断注意力工作点，建立可复算的 Roofline 估算。

RooflineFlashAttention带宽

Instrument

长序列注意力的算术强度随序列长度上升，但朴素实现仍会产生大量 HBM 往返；FlashAttention 的关键是把可复用块留在片上 SRAM。

序列长度4096 tokens单序列 token 数

注意力头数32 每层头数

Head dimension128 K/Q/V 的宽度

峰值算力60 TFLOPS用于估算的芯片峰值

Primary sources / 一手证据

Cross-domain synthesis

01综合研究综合研究2026年10月18日6 分钟

把 KV Cache、FlashAttention、端侧模型与存算一体放进同一张数据移动账本，理解 AI 系统的真正成本。

内存层级KV CacheFlashAttention