一起计算，不等于工作量不再增长
本页问题
文字预测可以成批处理已知位置，同时让每一行只读取合法前缀。完整位置表的大小是 n²，因果有效配对是 n(n+1)/2：4 个位置分别为 16 与 10，8 个位置分别为 64 与 36。参数不必增加，中间计算与状态却会增长。
RC-H2/b0 · gave 行只读合法前缀
先借上一讲的英文片段检查一行。gave 这一输入位置允许读取 BOS、I 和 gave；右侧 him 是要预测的目标。训练文件虽然包含完整句子，当前行也不能把后面的输入 him 当线索。这是在文字任务里添加的因果规则，与多行能否成批计算是两件事。
教师备课：指图与模拟问答
指图与推进 · 不朗读只沿 gave 行读取 BOS/I/gave，再指右侧目标 him 和禁止的未来输入。
本态来源与条件
教学构造与机制示意；非模型实测
RC-H2/b1 · 长度从四到八
现在离开具体句意，只改变位置数，做一个隔离长度影响的计数。四个 query 与四个 key 有十六个完整配对；变为八个位置后有六十四个，金框标出原来的四乘四范围。参数规则没变，但本次需要处理的位置关系增加了。
进一步解释
4 与 8 是独立教学计数，并不是给上一态的英文句子补写一倍文本；完整配对 n² 与因果有效配对 n(n+1)/2 必须区分。
教师备课：指图与模拟问答
指图与推进 · 不朗读指 8×8 表和金色 4×4 轮廓，对照 16 与 64。
本态来源与条件
教学构造与机制示意；非模型实测
RC-H2/b2 · 完整表与有效配对分开
若只允许因果前缀，上三角不参与读取：四个位置是十项，八个位置是三十六项。有限长度下增长三点六倍，不是恰好四倍；两种计数都呈二次量级。图中参数 W 与本次中间表要分开看。工作量增加以后，这些对象还要有地方保存、有通路送去计算。
进一步解释
n=4：1+2+3+4=10；n=8：1+…+8=36。这里仅讨论稠密 attention 位置配对项，不把投影、MLP 等全部成本归为平方项。
教师备课：指图与模拟问答
指图与推进 · 不朗读指被禁止的上三角、允许下三角与 10/36，再对照参数和中间状态。
本态来源与条件
教学构造与机制示意；非模型实测
接下来
工作量是一张账，保存与搬运是另外两张账。
补充推导、边界与来源
进一步阅读
条件与来源
以下从计算对象、条件与原始证据继续展开。
原 N21：整段在手，不等于每一行都能偷看答案
输入 BOS / I / gave / him 对应下一词标签 I / gave / him / a。gave 行可读取 BOS、I、gave，而不能读取后面的输入 him。标签 him 在目标端，不作为该行可见输入。训练前向之后另有 loss 与反向更新；推理 prefill 处理已知提示，只做前向；decode 生成未知新 token，需要逐步等待。
来源：L5 T30/T34 的因果训练与生成；原句片段固定使用 him。
相关的完整阅读材料保留原有公式、引用和原始图解。
原 N22：长度翻倍，哪一块工作会接近四倍？
dense attention 的完整分数矩阵尺寸为 n²；n=4 时16格，n=8 时64格。因果有效配对数为 n(n+1)/2，分别为10与36，有限 n 下比值为3.6而非4，但同属二次增长。投影参数可以不变，激活和注意力中间状态仍随序列长度增长。整个模型还有投影与 MLP 等不同增长项，不能将所有训练成本都写为 n²。
来源：FlashAttention v2对 dense attention 中间矩阵的分析；4/8为教学构造。
相关的完整阅读材料保留原有公式、引用和原始图解。
本页证据与条件
教学构造与机制示意；非模型实测