本页学习说明
文字预测可以成批处理已知位置，同时让每一行只读取合法前缀。完整位置表的大小是 n²，因果有效配对是 n(n+1)/2：4 个位置分别为 16 与 10，8 个位置分别为 64 与 36。参数不必增加，中间计算与状态却会增长。
进一步阅读
条件与来源
以下从计算对象、条件与原始证据继续展开。
原 N21：整段在手，不等于每一行都能偷看答案
输入 BOS / I / gave / him 对应下一词标签 I / gave / him / a。gave 行可读取 BOS、I、gave，而不能读取后面的输入 him。标签 him 在目标端，不作为该行可见输入。训练前向之后另有 loss 与反向更新；推理 prefill 处理已知提示，只做前向；decode 生成未知新 token，需要逐步等待。
来源：L5 T30/T34 的因果训练与生成；原句片段固定使用 him。
相关的完整阅读材料保留原有公式、引用和原始图解。
原 N22：长度翻倍，哪一块工作会接近四倍？
dense attention 的完整分数矩阵尺寸为 n²；n=4 时16格，n=8 时64格。因果有效配对数为 n(n+1)/2，分别为10与36，有限 n 下比值为3.6而非4，但同属二次增长。投影参数可以不变，激活和注意力中间状态仍随序列长度增长。整个模型还有投影与 MLP 等不同增长项，不能将所有训练成本都写为 n²。
来源：FlashAttention v2对 dense attention 中间矩阵的分析；4/8为教学构造。
相关的完整阅读材料保留原有公式、引用和原始图解。
阅读完整讲义