返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

写进去了,还要在需要时读得回来

本页问题

先用同一查询下的读回质量,给“记住”一个可检查的含义。

AM02/b0 · 先建立判断

固定查询 k₀ · dₖ = dᵥ = 64 · 同一存储数组的前缀目标 v₀M = 1查询不变:先检查能否读回目标8 × 8 像素表示 64 维 value · 统一灰度 [−0.125, 0.125] · 指标按裁剪前向量计算教学独立实验 · seed = 20261021 · 不作模糊或逐图归一化
先建立判断

左边是我们希望记住的内容,右边是给定线索后读出来的结果。判断一个记忆机制有没有用,不能只看它接收了多少条输入,还得看需要这条内容时能不能把它找回来。接下来我们一直用这个办法检查:查询不变,看看读出的内容怎样变化。

教师备课:指图与模拟问答

指图与推进 · 不朗读对齐左侧目标与M=1读出;指固定查询k₀、64维和相同灰度范围。

AM02/b1 · 增加到16条

固定查询 k₀ · dₖ = dᵥ = 64 · 同一存储数组的前缀目标 v₀M = 1M = 16增加到 16 条:目标还在,其他内容开始混入8 × 8 像素表示 64 维 value · 统一灰度 [−0.125, 0.125] · 指标按裁剪前向量计算教学独立实验 · seed = 20261021 · 不作模糊或逐图归一化
增加到16条

现在从一条增加到16条。这次没有删除目标,也没有换问题,但读出的结果开始夹杂别的东西。问题就出现了:保存目标的同时,还保存了许多会参与这次读取的内容。它们是否会互相妨碍,决定了“存得多”能不能变成“用得上”。

教师备课:指图与模拟问答

指图与推进 · 不朗读保留目标和M=1,显露M=16;只比较当前已有的两档读出。

AM02/b2 · 增加到64条

固定查询 k₀ · dₖ = dᵥ = 64 · 同一存储数组的前缀目标 v₀M = 1M = 16M = 64增加到 64 条:同一查询,目标更难辨认8 × 8 像素表示 64 维 value · 统一灰度 [−0.125, 0.125] · 指标按裁剪前向量计算教学独立实验 · seed = 20261021 · 不作模糊或逐图归一化
增加到64条

继续增加到64条。我们仍然保留刚才的16条,只在同一个存储数组后面继续加。现在把这张读出和左边的目标对照:本来应当干净的方向里,已经混入了更多其他内容。这里的变化不是把图人为变模糊,也不是换了一次查询,而是同一个读取规则在处理更多关联。

进一步解释

三档读出来自同一个K/V数组前缀。灰度范围不变,像素仅用于表示value的分量,不能据此称为自然图像理解实验。

教师备课:指图与模拟问答

指图与推进 · 不朗读显露M=64,保留M=1和M=16;沿同一固定目标比较图样,暂不读尚未出现的R。

AM02/b3 · 增加到256条

固定查询 k₀ · dₖ = dᵥ = 64 · 同一存储数组的前缀目标 v₀M = 1M = 16M = 64M = 256增加到 256 条:写进去了,还能读得多清楚?8 × 8 像素表示 64 维 value · 统一灰度 [−0.125, 0.125] · 指标按裁剪前向量计算教学独立实验 · seed = 20261021 · 不作模糊或逐图归一化
增加到256条

现在增加到256条。目标依然在,线索也没换,但这个读出的图样已经很难与原目标干净地对齐。我们终于把“写进去了”与“用得上”分开了:接受更多条输入并不困难,困难是需要其中一条时,其他内容会不会一起涌出来。接下来给这种混入的程度一个明确的衡量办法。

进一步解释

图样只承担读回变化的可视化;所有数值比较基于显示裁剪前的原始向量。

教师备课:指图与模拟问答

指图与推进 · 不朗读显露M=256,保留前面三档;回指固定目标与查询,把“仍存着”与“能读回”分开。

AM02/b4 · 定义信号与干扰

固定查询 k₀ · dₖ = dᵥ = 64 · 同一存储数组的前缀目标 v₀M = 1R = 0.000M = 16R = 0.455M = 64R = 1.039M = 256R = 2.142读出 = 目标贡献 + 其他条目的干扰R = ‖干扰‖ / ‖目标贡献‖8 × 8 像素表示 64 维 value · 统一灰度 [−0.125, 0.125] · 指标按裁剪前向量计算教学独立实验 · seed = 20261021 · 不作模糊或逐图归一化
定义信号与干扰

我们把想要的那部分称为信号,把其他条目混进来的部分称为干扰。后面的图会比较干扰和信号的大小。干扰与信号差不多大,可以作为一个方便的比较界线;这不是说过线那一刻,所有任务都突然完全失败。

进一步解释

本页R=‖读出−目标贡献‖/‖目标贡献‖。seed=20261021;同一256条数组取前缀。M为1、16、64、256时R分别为0、0.454740、1.038556、2.142358。灰度范围固定[−0.125,0.125],只在显示时裁剪;指标用未裁剪向量计算。

教师备课:指图与模拟问答

指图与推进 · 不朗读全部图保持原位,显露各档R与目标贡献/其他条目干扰的定义;读R=0、0.455、1.039、2.142。

接下来

下面把这个现象拆成一个能手算的记忆装置。

补充推导、边界与来源

先用同一查询下的读回质量,给“记住”一个可检查的含义。

本节实验关注向量读回的保真程度。分类只要求正确候选胜出、生成只要求相关token更有可能时,可以采用不同指标;相应容量不能直接比较。

来源与继续阅读

Alex Wang:对应原文小节。

I03 原阅读材料 · M02 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

教学独立复算:同查询T形图样

进入主题正文