有的关联在参数里，有的条目来自这次输入

刚才把MLP理解为关联记忆时，承担这些方向的是训练后的参数。普通推理过程中，这些参数保持不变；不同输入会激活不同组合，但不会因为读了一条新记录，就自动把新记录永久刻进参数。

self-attention这边，用当前各个token的表示生成key和value。输入增加，参与本次读取的条目也随之增加。负责生成它们的投影矩阵是训练参数，生成出来的这些K/V是本次计算的内容。不要把两者都叫“权重”而混在一起。

比如应用这次给了“A用12秒、B用8秒”的记录，这条信息可以通过当前上下文影响回答。换一份记录，读取内容随之变化，但模型参数可以完全没改。下一次请求还能否看到旧记录，要看应用是否再次提供或保留相关上下文，不能仅凭上次读过就推断参数已经学会。