返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

条目越多,干扰怎样累积?

本页问题

二维例解释干扰来源,随机向量模型继续检查条目数和维度的影响。

AM05/b0 · 增加M

随机单位 key / value · 查询等于已存 key · 外积写入RMS 干扰 / 实际目标项00.511.52164128192256记忆条目数 MR = 1主曲线固定 dₖ = 64一组实际匹配分数dₖ = 64,M = 16目标 = 10其他项保留正负号小项不等于零总干扰由向量合成计算M 与 dₖ 同量级时,简单外积存储的干扰已不可忽略教学独立复算 · 理论 RMS,非博客采样统计
增加M

现在换成很多随机线索,先固定每个key的维度。每个无关条目的匹配通常不大,但小贡献会不断积累。看这条曲线:横轴是存了多少条,纵轴是干扰相对于目标信号有多大。它接近1,表示干扰已经到了不能轻易忽略的程度。 这张图是独立计算的RMS理论曲线:把随机干扰的大小先平方、取平均、再开方,用来比较这种条件下的典型干扰,不是某次抽样的错误率。

教师备课:指图与模拟问答

指图与推进 · 不朗读先读随机单位向量、精确查询和d_k=64,再沿横轴M看曲线;辅图保留正负匹配。

AM05/b1 · 增加维度

随机单位 key / value · 查询等于已存 key · 外积写入RMS 干扰 / 实际目标项01234864128256512key 维度 dₖR = 1固定 M = 128只增加 key 维度无关相似度通常更小dₖ:64 → 256R:1.41 → 0.70同样的条目数,更多维度使线索更易区分教学独立复算 · 理论 RMS,非博客采样统计
增加维度

再把条目数固定为128,让key有更多维度。对于这里的随机单位向量,不同线索通常更容易分开,无关条目的相似度会变小。所以扩大维度能够改善这种读取。这是“做大一点可能有帮助”的一个具体机制,但还不是所有规模收益的证明。

教师备课:指图与模拟问答

指图与推进 · 不朗读切换为固定M=128,指横轴维度d_k和下降的R;明确横轴已变。

AM05/b2 · 读出量级关系

随机单位 key / value · 查询等于已存 key · 外积写入RMS 干扰 / 实际目标项00.511.52164128192256记忆条目数 MR = 1固定 dₖ = 64R = √((M − 1) / 64)M = 65 → R = 1容量取决于条目数、维度与读回标准M 与 dₖ 同量级时,简单外积存储的干扰已不可忽略教学独立复算 · 理论 RMS,非博客采样统计
读出量级关系

在这组假设下,条目数大致增加到和key维度相同的量级,简单外积存储的干扰就会和信号一样大。我们终于有了一个可以比较的容量概念:不只是W能收下多少次加法,而是读回质量能维持到什么程度。

进一步解释

随机单位key有$\mathbb E[(k_i^\top k_j)^2]=1/d_k$;在独立零均值各向同性单位value假设下,$R_{\mathrm{RMS}}=\sqrt{(M-1)/d_k}$。这是先对干扰范数平方取期望再开方,不是平均范数或作者的中位数统计。

教师备课:指图与模拟问答

指图与推进 · 不朗读回到固定d_k=64图,指R=1与M=65,再读量级关系。

接下来

扩大维度是一条路。有没有不只靠做大的办法?

补充推导、边界与来源

二维例解释干扰来源,随机向量模型继续检查条目数和维度的影响。

独立零均值、各向同性、单位长度value使交叉项的期望消失。随机单位key有E[(kᵢᵀk_j)²]=1/d_k,故外积存储的平方平均干扰/信号为(M−1)/d_k,RMS比值为√((M−1)/d_k)。常用量级写法√(M/d_k)忽略一条目标记忆。不要把每一项绝对值简单相加成M/√d_k,也不要说正负相消后必然没有噪声。

来源与继续阅读

Alex Wang:对应原文小节。

I03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

教学独立复算:随机球面向量RMS理论曲线

进入主题正文