本页学习说明
从固定的二维例子转到随机单位key/value,可以分开比较条目数与维度。在外积写入、精确查询假设下,干扰RMS比值为√((M−1)/dₖ)。固定dₖ=64,增加M使曲线上升;固定M=128,增加dₖ使曲线下降。R=1只是一条共同参照线。扩大空间、联合选择写入权重、改变汇总前的响应,是作用于不同对象的三条改进路线。
有限维修正使dₖ=64的外积RMS比较线位于M=65,常用量级说法约为64。负匹配不能简单按绝对值累加;相消也不保证干扰为零。
与本页直接相关的完整材料
条件、推导与来源
AM05 · 条目越多,干扰怎样累积?
二维例解释干扰来源,随机向量模型继续检查条目数和维度的影响。
独立零均值、各向同性、单位长度value使交叉项的期望消失。随机单位key有E[(kᵢᵀk_j)²]=1/d_k,故外积存储的平方平均干扰/信号为(M−1)/d_k,RMS比值为√((M−1)/d_k)。常用量级写法√(M/d_k)忽略一条目标记忆。不要把每一项绝对值简单相加成M/√d_k,也不要说正负相消后必然没有噪声。
来源与继续阅读
Alex Wang:对应原文小节。
I03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
AM06 · 能改的地方有三个
扩大维度不是唯一改进办法,写入与读取也可以分别调整。
来源与继续阅读
Alex Wang:对应原文小节。
M03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
阅读完整讲义