可以扩大空间,也可以改写入和读取
本页问题
从固定的二维例子转到随机单位key/value,可以分开比较条目数与维度。在外积写入、精确查询假设下,干扰RMS比值为√((M−1)/dₖ)。固定dₖ=64,增加M使曲线上升;固定M=128,增加dₖ使曲线下降。R=1只是一条共同参照线。扩大空间、联合选择写入权重、改变汇总前的响应,是作用于不同对象的三条改进路线。
AR03/b0 · 固定维度,增加条目
先把二维小例子换成很多随机单位线索,key的维度固定为六十四。横轴是条目数,纵轴是理论RMS干扰与目标项的比值。单个无关匹配通常不大,但很多小贡献仍会合成可观干扰。曲线在约六十五条达到R等于一。这个量级描述当前假设和指标,不是一道所有记忆任务共同的失效开关。
进一步解释
独立各向同性单位value使交叉项期望为零;$R_{RMS}=\sqrt{(M-1)/d_k}$。这里先对平方干扰取期望再开方,不是一次抽样错误率。
教师备课:指图与模拟问答
指图与推进 · 不朗读先读固定 dₖ=64,再沿 M 轴找 R=1;辅图保留带正负号的匹配。
AR03/b1 · 固定条目,扩大维度
现在横轴换了,请先看轴名:不再增加条目,而是固定一百二十八条,增加key的维度。曲线向下,因为随机线索在更高维空间中通常更容易分开,无关内积更小。扩大空间确实是一个办法,但相关矩阵和计算也会变大。我们还可以保留空间大小,改变写进去和读出来的方法。
教师备课:指图与模拟问答
指图与推进 · 不朗读明确指出横轴从 M 改为 dₖ;沿下降曲线比较64与256维。
AR03/b2 · 在装置上定位三种改变
回到A的查询。沿同一次计算,可以改三个地方:增加线索的维度,重新选择写入后的W,或者改变匹配分数参与汇总的方式。这三件事不能混称为“把模型做大”。刚才第一条已经看到了。下面先保留两条关联和两行两列的W,只重新选择四个权重,检查是否能够把两条都读对。
进一步解释
三条路线改变不同对象:维度改变表示空间;联合拟合改变写入矩阵;非线性改变汇总前的响应。这一态只建立选择位置,随后先沿写入路线核验。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿 key/query、W、value贡献三处依次指;落在中间 W。
接下来
不扩大矩阵,只改变四个权重,能把 A、B 都读对吗?
补充推导、边界与来源
有限维修正使dₖ=64的外积RMS比较线位于M=65,常用量级说法约为64。负匹配不能简单按绝对值累加;相消也不保证干扰为零。
与本页直接相关的完整材料
- AM05 · 条目越多,干扰怎样累积?:原图、逐态说明与已校准推导。
- AM06 · 能改的地方有三个:原图、逐态说明与已校准推导。
条件、推导与来源
AM05 · 条目越多,干扰怎样累积?
二维例解释干扰来源,随机向量模型继续检查条目数和维度的影响。
独立零均值、各向同性、单位长度value使交叉项的期望消失。随机单位key有E[(kᵢᵀk_j)²]=1/d_k,故外积存储的平方平均干扰/信号为(M−1)/d_k,RMS比值为√((M−1)/d_k)。常用量级写法√(M/d_k)忽略一条目标记忆。不要把每一项绝对值简单相加成M/√d_k,也不要说正负相消后必然没有噪声。
来源与继续阅读
I03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
AM06 · 能改的地方有三个
扩大维度不是唯一改进办法,写入与读取也可以分别调整。
来源与继续阅读
M03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
随机向量检索的教学独立复算;源推导来自Alex Wang