训练留下的，与这次读到的，有什么不同？
M04/b0 · 训练留下可复用结构
回到开场这层 Transformer。上方的参数框表示训练逐渐形成的参数：它们不仅决定怎样匹配，也决定怎样把信息变成后续表示。再看中间的 MLP，我们可以从 key-value 记忆的角度分析它，但不要把每个神经元想成一条事实，也不要把所有知识都塞进 MLP 一个框里。我们关心的是，这些参数通过训练留下来，后面的许多请求都会使用它们。
教师备课：指图与模拟问答
指图与推进 · 不朗读点亮参数框与 MLP，保持 attention 同一位置。
M04/b1 · 输入形成当次内容
再看下方，从“当前输入 X”到“本次 K/V”的这条路径。输入经过已经训练好的投影矩阵，变成本次的 K 和 V，再交给 attention 读取。换一段输入，投影规则可以不动，算出的内容却会改变。于是模型一边使用训练积累的计算方式，一边读取这一次提供的材料。我们后面讲上下文学习，还会回到这张图。
教师备课：指图与模拟问答
指图与推进 · 不朗读点亮输入、K/V 及通向 attention 的箭头。
M04/b2 · 把问题交给实验
现在只得到一个入口：记忆规模扩大以后，容量与读取干扰都要解决；Transformer 把训练形成的结构与当次输入的读取结合起来。但还不能说，凭这个小算例它就一定胜过其他架构。真正继续投入时会发生什么，要去看实际扩展实验。我们先从更直观的图像进入，看看同一个架构判断怎样随着训练条件改变。
教师备课：指图与模拟问答
指图与推进 · 不朗读从 block 转向图像输入，不添加容量排行表。
补充推导、边界与来源
从读取视角看，MLP 的匹配模式与输出方向可由训练形成的参数表达；Geva 等在语言模型中研究了前馈层的 key-value memory 解释。这不等于所有知识都只存在 MLP，也不意味着每个神经元对应一条事实。
Self-attention 当前读取的 K/V 来自输入表示 X 与已训练投影的计算：K=XW_K，V=XW_V。参数 W_K、W_V 可以不变，而 X 改变，K/V 就随之改变。每层有自己的表示与投影，图仅突出信息来源，不省略完整模型的其他计算。
因此，参数知识、当前上下文中的可用内容与关联记忆构造里的成功读回条数是三种不同对象；GPU 显存又是保存数值的硬件资源。开场构造帮助辨认干扰和选择性，不能单独证明某一架构一定适合无限扩展。实际投入更多数据、模型和计算之后是否有效，需要控制条件的训练与任务评价。
本页证据与条件
教学构造；用于辨认计算过程，不是模型运行结果