完整深入材料 · 保留原页与全部停点。回到相关主讲
长度翻倍，哪一块工作会接近四倍？
N22/b0 · 4×4 完整分数表
先只有四个位置。每个 query 与四个 key 比较，完整分数表是四乘四，共十六格。
教师备课：指图与模拟问答
指图与推进 · 不朗读指4×4完整矩阵的行列与16格；当前先计完整表尺寸。
N22/b1 · 扩成 8×8
现在把长度加到八，模型的投影参数不变，但分数表变成八乘八，共六十四格，是原来完整表面积的四倍。
教师备课：指图与模拟问答
指图与推进 · 不朗读指8×8与保留的4×4轮廓，比较64与16。
N22/b2 · 因果有效配对
这张表画的是 dense attention 的完整矩阵尺寸。如果用因果 mask，真正允许的配对是下三角：四个位置有十项，八个位置有三十六项，有限长度下并不是恰好四倍，但仍然是二次量级增长。我们把这个区别当场说清，避免上一页刚讲完因果可见性，这一页又像是允许所有未来位置参与读取。
教师备课：指图与模拟问答
指图与推进 · 不朗读指红色被遮区域及下三角，读10和36，避免把有效配对说成精确四倍。
N22/b3 · 参数量与中间状态
因此，模型参数没有增加，输入变长仍然可以让中间计算和存储显著增加。能把这些工作并行分给硬件，并不等于工作本身消失。还有一个经常被忽略的成本：这些输入、参数和中间结果，实际要放在哪里，算的时候怎样搬到计算单元旁边？下一页继续保留这张表，给它找到物理位置。
进一步解释
这里分析 dense attention 的位置配对和中间表。整个模型还含投影、MLP等其他成本，不能将所有成本都写成序列长度平方。
教师备课：指图与模拟问答
指图与推进 · 不朗读对照参数W与中间表两个框；进入下一页保存与搬运位置。
补充推导、边界与来源
dense attention 的完整分数矩阵尺寸为 n²；n=4 时16格，n=8 时64格。因果有效配对数为 n(n+1)/2，分别为10与36，有限 n 下比值为3.6而非4，但同属二次增长。投影参数可以不变，激活和注意力中间状态仍随序列长度增长。整个模型还有投影与 MLP 等不同增长项，不能将所有训练成本都写为 n²。
来源：FlashAttention v2对 dense attention 中间矩阵的分析；4/8为教学构造。
相关的完整阅读材料保留原有公式、引用和原始图解。
本页证据与条件
教学构造与机制示意；非模型实测