写进去了,为什么还可能用不上?
从这里开始
关联记忆把线索key与内容value成对保存。查询是拿来查找的线索,目标是希望读回的内容;两者不必相同。本例将64维value排成8×8灰度方格,固定目标和查询,只把同一存储数组的前缀从1条扩展到16、64、256条。读回中的目标贡献仍在,其他条目的贡献却逐渐混入。可用性因此要由读取结果判断,而不能仅数已经写入多少条。
AR01/b0 · 先固定目标和查询
沿用刚才的读取装置。我们存一对关联:线索key用来查找,内容value是希望取回的东西。画面中的k₀是固定查询,v₀是目标内容,M表示已存关联数。现在M等于一,读取Wk₀与目标相同。图样只是把六十四个数排成八乘八,方便比较,并不是让模型识别一张照片。随后只增加其他关联,看看同一查询还能否读清同一目标。
进一步解释
关联对的记号为(kᵢ,vᵢ),下标i标识条目。固定查询取第0条的key,目标是同一条的value;M增加时沿用同一数组前缀。key与value都为64维,但其职责不同。
教师备课:指图与模拟问答
指图与推进 · 不朗读从上方固定查询k₀沿箭头读到Wk₀,再对照目标v₀与M=1两幅方格;指出key是线索、value是内容,M计关联对数。
AR01/b1 · 更多条目参与同一次读回
目标内容和查询都不变,只有存储中参与写入的关联数增加:十六、六十四、二百五十六。把每档读回与最左侧目标逐格比较,目标的结构越来越被其他变化淹没。原来那一条仍参与写入,问题是其他条目也在这次读取里贡献了内容。因此“已经存入”与“此刻能单独取回”不是一回事。
进一步解释
同一数组的前缀;seed=20261021。显示灰度统一为[−0.125,0.125],只裁剪显示,不改变指标。
教师备课:指图与模拟问答
指图与推进 · 不朗读保持查询和目标作为共同参照,依次比较M=16、64、256三档读回;不将不同灰块解释为不同物体。
AR01/b2 · 给混入一个可比较的尺度
把想要的贡献叫信号,把其他条目的贡献叫干扰。这里用干扰范数除以目标贡献范数,得到R。四档分别约为零、零点四五五、一点零三九和二点一四二。R等于一,只是一条方便的比较线:干扰与信号差不多大,不代表所有任务在这里一起失效。接下来去掉图样,只存两组线索与内容,亲手算清楚干扰从哪里来。
进一步解释
本页R=‖读出−目标贡献‖/‖目标贡献‖,指标按未裁剪向量计算。它不同于之后跨随机样本取平方期望再开方的理论RMS曲线。
教师备课:指图与模拟问答
指图与推进 · 不朗读指 R 数值和目标贡献/干扰的分解;停在 R=1 的含义。
接下来
只存 A、B 两条,能否把“混入”写成一次矩阵计算?
补充推导、边界与来源
这里的目标不是证明模型记住了图像,而是为“记住”选一个可检查的读回标准。同一查询、相同数组前缀和固定灰度,使变化能追溯到新增关联。
与本页直接相关的完整材料
- AM01 · 模型要用上更多知识,先要能承载、能读取:原图、逐态说明与已校准推导。
- AM02 · 写进去了,还要在需要时读得回来:原图、逐态说明与已校准推导。
条件、推导与来源
AM01 · 模型要用上更多知识,先要能承载、能读取
要理解大模型为什么可能用上更多知识,先分清结构的承载能力与训练形成的实际能力。
“先能记住,再讲怎样训练”是解释次序。实际训练时,数据、目标和参数更新一起发生,不存在先把空网络训练完、再把知识放进去的机械流程。
来源与继续阅读
Alex Wang:对应原文小节。两个必要视角是本课程的开场组织,不是原文逐字开场。
M01 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
AM02 · 写进去了,还要在需要时读得回来
先用同一查询下的读回质量,给“记住”一个可检查的含义。
本节实验关注向量读回的保真程度。分类只要求正确候选胜出、生成只要求相关token更有可能时,可以采用不同指标;相应容量不能直接比较。
来源与继续阅读
I03 原阅读材料 · M02 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
随机向量检索的教学独立复算;源推导来自Alex Wang