#注意力机制

FlashAttention：把注意力从公式写成数据流

从 HBM/SRAM 层级解释 tiling、在线 softmax 与 FlashAttention-2/3 的并行和异步优化。