attention 读取的内容，是这次输入算出来的

上一页我们把三张卡的读取接回了 MLP。现在看 attention：上面这一组矩阵，是训练已经留下来的参数；左边的 X，是眼前这一份材料经过前面计算形成的表示，不是原始 token ID。相同的矩阵接收不同的 X，会算出不同的 K 和 V。当前位置还会形成自己的 query，用它来读取允许范围内的内容。先认清这两类对象：留下来的计算参数，与这一次才算出来的状态。

这里是开场那份实验：同样设置下，A 十二秒，B 八秒，内存没有测。这次新产生的数字已经随文字进入 X，所以后续可以读取与它们有关的内容。图上十二和八标识信息来自哪一份输入，不是说两个数字原样占据两个表示坐标。模型不必先为这一份实验做一次训练，才能使用我们刚交给它的记录。

读取以后，结果还要交给后面的 MLP 等计算，继续变换表示。这一层本身也只是整个模型的一部分。我们能从图中说清当前信息怎样进入计算；还不能拿某一层的几项 attention 权重，就代替整个模型怎样理解任务的解释。两类计算都使用训练留下的参数，也都作用于当前表示。现在保持参数不变，换一份材料，看看当次状态能不能变。

现在 A 七秒、B 十一秒。上方参数仍是原来那一组；左边 X 换了，算出的 K/V 和后续表示也会随之改变。所以“参数固定”不意味着每次输出固定，而是这轮普通推理没有做参数更新。我们这里重新计算的是另一份完整输入，不是在一份旧缓存中偷偷改数字。用过这些数字以后，下一次还能直接知道吗？接下来先把材料切回开场那份 A 十二秒、B 八秒，再追踪一次请求结束后，信息通过什么路径被保留下来。