算得完、装得下、搬得动

正在载入课堂画面…

本页学习说明

显存保存大对象，片上工作区接收当前计算需要的数据。直接分阶段 attention 可以把 S、P 等完整中间表写回后再读；这使计算吞吐、容量与搬运带宽成为不同约束。后续分块执行改变的是保存与读写安排，仍需完成规定的读取目标。

以下从计算对象、条件与原始证据继续展开。

直接 attention 实现会生成分数矩阵，写入显存，再读出做 softmax，随后使用归一化权重汇总 V。HBM 容量、片上工作区容量、计算吞吐和数据搬运带宽是不同约束。这里先定位问题；N49–N51 回到同样的内存层级，用分块与在线归一化解释如何减少保存和搬运，不提前把名称当答案。

来源：FlashAttention v2，§3.1 IO 分析。

相关的完整阅读材料保留原有公式、引用和原始图解。