同一张注意力大表，为什么要搬来搬去？

还记得前面序列从四个位置增加到八个位置时，那张两两比较表怎样变大吗？现在我们回到同一张表，关注的不是模型要学什么，而是硬件怎样把这个计算做完。左边是容量较大的显存，右边是小而快的片上工作区。数据必须先来到计算能使用的位置。

现在从上到下走三个阶段，每一行都先读蓝线、再读红线。第一行从 HBM 读取 Q 和 K，在片上计算分数 S，再把 S 写回 HBM。第二行读取刚才的 S，做 softmax 得到概率 P，再把 P 写回。第三行读取 P 和 V，进行加权汇总，形成输出 O 并写回。蓝线始终从左到右，红线始终从右到左，每条线上都写明搬的是哪个对象。

这是会物化大中间表的一类直接实现。熟悉的打分、归一、汇总并没有变，但 S 和 P 在阶段之间反复进出显存。序列越长，大表通常越大；相同算术目标可以有不同搬运成本。下一步只在片上放一个块，看看怎样保留完整计算。

小工作区放不下完整大表，并不意味着只能删除一部分比较。我们还可以一次读一块，在片上完成局部运算，再把真正需要的信息留下来。不过这里有个难点：softmax要对所有允许位置共同归一，第一块结束时还不知道后面有多大分数。要让分块可靠，必须先弄清楚，一个还没算完的加权结果究竟该保留什么。我们用三个数把它算完。