算术强度
2,048FLOP/B粗略注意力 FLOPs ÷ 估算的 HBM 字节Instrument / attention-roofline
为什么把同一组数学运算分块后，端到端速度会改变？
长序列注意力的算术强度随序列长度上升，但朴素实现仍会产生大量 HBM 往返；FlashAttention 的关键是把可复用块留在片上 SRAM。
回到 Attention IO 研究档案Interactive model / software simulation
注意力 IO 与 Roofline
用序列长度、头数和加速器带宽估算注意力是计算受限还是显存带宽受限。
工作点更接近计算侧；分块、低精度与并行调度会决定峰值能否兑现。
Roofline 拐点
66.67FLOP/B峰值算力 ÷ 峰值带宽估算 HBM 往返
128MiB朴素路径的单次量级估算EVIDENCE NOTE
量级估算模型；忽略 cache line、bank conflict 与 kernel launch 开销。
Primary reading