返回课堂

可以扩大空间,也可以改写入和读取

本页问题

从固定的二维例子转到随机单位key/value,可以分开比较条目数与维度。在外积写入、精确查询假设下,干扰RMS比值为√((M−1)/dₖ)。固定dₖ=64,增加M使曲线上升;固定M=128,增加dₖ使曲线下降。R=1只是一条共同参照线。扩大空间、联合选择写入权重、改变汇总前的响应,是作用于不同对象的三条改进路线。

AR03/b0 · 固定维度,增加条目

随机单位 key / value · 查询等于已存 key · 外积写入RMS 干扰 / 实际目标项00.511.52164128192256记忆条目数 MR = 1主曲线固定 dₖ = 64一组实际匹配分数dₖ = 64,M = 16目标 = 10其他项保留正负号小项不等于零总干扰由向量合成计算M 与 dₖ 同量级时,简单外积存储的干扰已不可忽略
固定维度,增加条目

先把二维小例子换成很多随机单位线索,key的维度固定为六十四。横轴是条目数,纵轴是理论RMS干扰与目标项的比值。单个无关匹配通常不大,但很多小贡献仍会合成可观干扰。曲线在约六十五条达到R等于一。这个量级描述当前假设和指标,不是一道所有记忆任务共同的失效开关。

进一步解释

独立各向同性单位value使交叉项期望为零;$R_{RMS}=\sqrt{(M-1)/d_k}$。这里先对平方干扰取期望再开方,不是一次抽样错误率。

教师备课:指图与模拟问答

指图与推进 · 不朗读先读固定 dₖ=64,再沿 M 轴找 R=1;辅图保留带正负号的匹配。

AR03/b1 · 固定条目,扩大维度

随机单位 key / value · 查询等于已存 key · 外积写入RMS 干扰 / 实际目标项01234864128256512key 维度 dₖR = 1固定 M = 128只增加 key 维度无关相似度通常更小dₖ:64 → 256R:1.41 → 0.70同样的条目数,更多维度使线索更易区分
固定条目,扩大维度

现在横轴换了,请先看轴名:不再增加条目,而是固定一百二十八条,增加key的维度。曲线向下,因为随机线索在更高维空间中通常更容易分开,无关内积更小。扩大空间确实是一个办法,但相关矩阵和计算也会变大。我们还可以保留空间大小,改变写进去和读出来的方法。

教师备课:指图与模拟问答

指图与推进 · 不朗读明确指出横轴从 M 改为 dₖ;沿下降曲线比较64与256维。

AR03/b2 · 在装置上定位三种改变

回到二维例:查询 A从同一个读出式,找出可以改变的对象key / query写入后的矩阵读取时的贡献dk 维W x1 · vA + 0.6 · vB增加维度让不同线索更容易分开改善写入一起考虑所有关联,重新选择 W改善读取弱匹配,能不能少贡献一些?
在装置上定位三种改变

回到A的查询。沿同一次计算,可以改三个地方:增加线索的维度,重新选择写入后的W,或者改变匹配分数参与汇总的方式。这三件事不能混称为“把模型做大”。刚才第一条已经看到了。下面先保留两条关联和两行两列的W,只重新选择四个权重,检查是否能够把两条都读对。

进一步解释

三条路线改变不同对象:维度改变表示空间;联合拟合改变写入矩阵;非线性改变汇总前的响应。这一态只建立选择位置,随后先沿写入路线核验。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿 key/query、W、value贡献三处依次指;落在中间 W。

接下来

不扩大矩阵,只改变四个权重,能把 A、B 都读对吗?

补充推导、边界与来源

有限维修正使dₖ=64的外积RMS比较线位于M=65,常用量级说法约为64。负匹配不能简单按绝对值累加;相消也不保证干扰为零。

与本页直接相关的完整材料

条件、推导与来源

AM05 · 条目越多,干扰怎样累积?

二维例解释干扰来源,随机向量模型继续检查条目数和维度的影响。

独立零均值、各向同性、单位长度value使交叉项的期望消失。随机单位key有E[(kᵢᵀk_j)²]=1/d_k,故外积存储的平方平均干扰/信号为(M−1)/d_k,RMS比值为√((M−1)/d_k)。常用量级写法√(M/d_k)忽略一条目标记忆。不要把每一项绝对值简单相加成M/√d_k,也不要说正负相消后必然没有噪声。

来源与继续阅读

Alex Wang:对应原文小节。

I03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM06 · 能改的地方有三个

扩大维度不是唯一改进办法,写入与读取也可以分别调整。

来源与继续阅读

Alex Wang:对应原文小节。

M03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

随机向量检索的教学独立复算;源推导来自Alex Wang

进入主题正文