返回课堂

写进去了,为什么还可能用不上?

从这里开始

关联记忆把线索key与内容value成对保存。查询是拿来查找的线索,目标是希望读回的内容;两者不必相同。本例将64维value排成8×8灰度方格,固定目标和查询,只把同一存储数组的前缀从1条扩展到16、64、256条。读回中的目标贡献仍在,其他条目的贡献却逐渐混入。可用性因此要由读取结果判断,而不能仅数已经写入多少条。

AR01/b0 · 先固定目标和查询

固定查询 k₀查找用的线索读取 Wk₀从已存关联中取回与目标 v₀ 比较希望取回的内容目标内容 v₀读回 · M = 1读回 · M = 16增加其他关联后比较读回 · M = 64增加其他关联后比较读回 · M = 256增加其他关联后比较M 计已存的关联对数:先只存 (k₀, v₀),再加入其他关联同一查询 → 同一目标;只改变存了多少条向量读回示例:8 × 8 方格显示 64 个数,不是照片识别
先固定目标和查询

沿用刚才的读取装置。我们存一对关联:线索key用来查找,内容value是希望取回的东西。画面中的k₀是固定查询,v₀是目标内容,M表示已存关联数。现在M等于一,读取Wk₀与目标相同。图样只是把六十四个数排成八乘八,方便比较,并不是让模型识别一张照片。随后只增加其他关联,看看同一查询还能否读清同一目标。

进一步解释

关联对的记号为(kᵢ,vᵢ),下标i标识条目。固定查询取第0条的key,目标是同一条的value;M增加时沿用同一数组前缀。key与value都为64维,但其职责不同。

教师备课:指图与模拟问答

指图与推进 · 不朗读从上方固定查询k₀沿箭头读到Wk₀,再对照目标v₀与M=1两幅方格;指出key是线索、value是内容,M计关联对数。

AR01/b1 · 更多条目参与同一次读回

固定查询 k₀查找用的线索读取 Wk₀从已存关联中取回与目标 v₀ 比较希望取回的内容目标内容 v₀读回 · M = 1读回 · M = 16读回 · M = 64读回 · M = 256目标仍在,其他条目的贡献却混入了读回保持查询和目标,比较 M = 1、16、64、256向量读回示例:8 × 8 方格显示 64 个数,不是照片识别
更多条目参与同一次读回

目标内容和查询都不变,只有存储中参与写入的关联数增加:十六、六十四、二百五十六。把每档读回与最左侧目标逐格比较,目标的结构越来越被其他变化淹没。原来那一条仍参与写入,问题是其他条目也在这次读取里贡献了内容。因此“已经存入”与“此刻能单独取回”不是一回事。

进一步解释

同一数组的前缀;seed=20261021。显示灰度统一为[−0.125,0.125],只裁剪显示,不改变指标。

教师备课:指图与模拟问答

指图与推进 · 不朗读保持查询和目标作为共同参照,依次比较M=16、64、256三档读回;不将不同灰块解释为不同物体。

AR01/b2 · 给混入一个可比较的尺度

固定查询 k₀查找用的线索读取 Wk₀从已存关联中取回与目标 v₀ 比较希望取回的内容目标内容 v₀读回 · M = 1R = 0.000读回 · M = 16R = 0.455读回 · M = 64R = 1.039读回 · M = 256R = 2.142读回 = 目标贡献 + 其他条目的干扰R = ‖干扰‖ / ‖目标贡献‖向量读回示例:8 × 8 方格显示 64 个数,不是照片识别
给混入一个可比较的尺度

把想要的贡献叫信号,把其他条目的贡献叫干扰。这里用干扰范数除以目标贡献范数,得到R。四档分别约为零、零点四五五、一点零三九和二点一四二。R等于一,只是一条方便的比较线:干扰与信号差不多大,不代表所有任务在这里一起失效。接下来去掉图样,只存两组线索与内容,亲手算清楚干扰从哪里来。

进一步解释

本页R=‖读出−目标贡献‖/‖目标贡献‖,指标按未裁剪向量计算。它不同于之后跨随机样本取平方期望再开方的理论RMS曲线。

教师备课:指图与模拟问答

指图与推进 · 不朗读指 R 数值和目标贡献/干扰的分解;停在 R=1 的含义。

接下来

只存 A、B 两条,能否把“混入”写成一次矩阵计算?

补充推导、边界与来源

这里的目标不是证明模型记住了图像,而是为“记住”选一个可检查的读回标准。同一查询、相同数组前缀和固定灰度,使变化能追溯到新增关联。

与本页直接相关的完整材料

条件、推导与来源

AM01 · 模型要用上更多知识,先要能承载、能读取

要理解大模型为什么可能用上更多知识,先分清结构的承载能力与训练形成的实际能力。

“先能记住,再讲怎样训练”是解释次序。实际训练时,数据、目标和参数更新一起发生,不存在先把空网络训练完、再把知识放进去的机械流程。

来源与继续阅读

Alex Wang:对应原文小节。两个必要视角是本课程的开场组织,不是原文逐字开场。

M01 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM02 · 写进去了,还要在需要时读得回来

先用同一查询下的读回质量,给“记住”一个可检查的含义。

本节实验关注向量读回的保真程度。分类只要求正确候选胜出、生成只要求相关token更有可能时,可以采用不同指标;相应容量不能直接比较。

来源与继续阅读

Alex Wang:对应原文小节。

I03 原阅读材料 · M02 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

随机向量检索的教学独立复算;源推导来自Alex Wang

进入主题正文