完整深入材料 · 保留原页与全部停点。回到相关主讲
条目越多,干扰怎样累积?
本页问题
二维例解释干扰来源,随机向量模型继续检查条目数和维度的影响。
AM05/b0 · 增加M
现在换成很多随机线索,先固定每个key的维度。每个无关条目的匹配通常不大,但小贡献会不断积累。看这条曲线:横轴是存了多少条,纵轴是干扰相对于目标信号有多大。它接近1,表示干扰已经到了不能轻易忽略的程度。 这张图是独立计算的RMS理论曲线:把随机干扰的大小先平方、取平均、再开方,用来比较这种条件下的典型干扰,不是某次抽样的错误率。
教师备课:指图与模拟问答
指图与推进 · 不朗读先读随机单位向量、精确查询和d_k=64,再沿横轴M看曲线;辅图保留正负匹配。
AM05/b1 · 增加维度
再把条目数固定为128,让key有更多维度。对于这里的随机单位向量,不同线索通常更容易分开,无关条目的相似度会变小。所以扩大维度能够改善这种读取。这是“做大一点可能有帮助”的一个具体机制,但还不是所有规模收益的证明。
教师备课:指图与模拟问答
指图与推进 · 不朗读切换为固定M=128,指横轴维度d_k和下降的R;明确横轴已变。
AM05/b2 · 读出量级关系
在这组假设下,条目数大致增加到和key维度相同的量级,简单外积存储的干扰就会和信号一样大。我们终于有了一个可以比较的容量概念:不只是W能收下多少次加法,而是读回质量能维持到什么程度。
进一步解释
随机单位key有$\mathbb E[(k_i^\top k_j)^2]=1/d_k$;在独立零均值各向同性单位value假设下,$R_{\mathrm{RMS}}=\sqrt{(M-1)/d_k}$。这是先对干扰范数平方取期望再开方,不是平均范数或作者的中位数统计。
教师备课:指图与模拟问答
指图与推进 · 不朗读回到固定d_k=64图,指R=1与M=65,再读量级关系。
接下来
扩大维度是一条路。有没有不只靠做大的办法?
补充推导、边界与来源
二维例解释干扰来源,随机向量模型继续检查条目数和维度的影响。
独立零均值、各向同性、单位长度value使交叉项的期望消失。随机单位key有E[(kᵢᵀk_j)²]=1/d_k,故外积存储的平方平均干扰/信号为(M−1)/d_k,RMS比值为√((M−1)/d_k)。常用量级写法√(M/d_k)忽略一条目标记忆。不要把每一项绝对值简单相加成M/√d_k,也不要说正负相消后必然没有噪声。
来源与继续阅读
I03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
教学独立复算:随机球面向量RMS理论曲线