算得快之外，还要装得下、搬得动

把上一页的中间表放回机器。右上方大容量显存 HBM 保存输入、参数与中间结果；下面的片上工作区容量小得多，靠近执行乘加的计算单元。现在沿箭头取入 Q/K 的当前数据块，还没有把整张表都放在片上。

数据得先搬到合适的位置，算完以后，有些结果还要写回，再被下一个算子读出。于是一次计算不只有做了多少乘加，还包括保存了多少东西、来回搬了多少数据。看左边的大表。

一个直接的实现会先生成分数，再读它们做归一化，再用归一化后的权重汇总 value。之后我们会回来解决这个问题：能不能保留同样的数学结果，却少保存、少搬运这张完整中间表？现在先把问题位置记住，不急着给出一串技术名。

至此，结构为什么值得扩大、扩大后为什么仍有现实成本，已经接上了。还有一件事需要讲透：不断执行这些训练计算，究竟让模型在做什么题？MAE 利用原图构造目标；文本也有一种可以从材料本身持续构造目标的办法。我们回到开场的实验记录，把一整段普通文字变成一组可计算的预测任务，再看这种看似简单的目标能约束哪些关系。