本页学习说明
本页把N50两块数值验证推广为三块过程示意，不把三块流程配成160/7这一数值结果。固定一个Q块，依次将所有允许的K/V块装入片上工作区，更新最大值m、归一化分母l与分子u。局部中间表释放后，累计量仍保留。第3块完成、所有允许位置都参与后，才计算u/l并写回该Q块输出。
训练反向可以按块重算所需中间量，以额外部分算术换取少保存、少搬运。FlashAttention 保持同类精确attention数学目标，浮点求值顺序变化不保证逐bit一致；稠密算术仍含$T^2$，T为序列长度。固定Q扫描KV是课堂执行视角，不声称逐行复现Algorithm1循环次序。
FlashAttention §3.1 / Algorithm1 / Theorem1；完整在线稳定递推、反向重算、MoE与KTransformers边界。
阅读完整讲义