完整深入材料 · 保留原页与全部停点。回到相关主讲
注意力的检索容量，要连同实验条件一起读
本页问题
条目可随输入增加；在大量候选下，读取选择性还能维持到什么量级？
AM15/b0 · 重置条件
这里重新回到64维随机向量实验，不是刚才两条线索的手算例。查询恰好等于已存储的一个key，所以目标匹配非常强。我们比较的仍然是其他条目混入的程度，所有结果都要带着这些条件一起读。
教师备课：指图与模拟问答
指图与推进 · 不朗读重新读d_k=d_v=64、精确查询、β=8，与二维例分开。
AM15/b1 · 观察大规模候选
指数能让目标和许多弱匹配之间保持很大的权重差距。于是，同一套误差指标下，干扰达到比较线所需的条目数会比线性读取大很多。图中的数量级告诉我们，读取规则本身可以成为扩大可用记忆的重要因素。
教师备课：指图与模拟问答
指图与推进 · 不朗读扩展M范围，比较线性、平方ReLU、指数与同一R=1线。
AM15/b2 · 解释“百万”对应什么
在这个设定下，球面RMS计算约127万，高斯近似约120万，都落到百万量级。它不等于某个模型保证支持的上下文长度，也不等于一个64维层已经存下百万条人类知识。我们仍然需要保存这些候选，需要计算，而且真实查询通常不会与目标key完全相同。数字很有启发，条件同样重要。
进一步解释
高斯近似$R\approx\sqrt{M-1}\exp(\beta^2/d_k-\beta)$。忽略一项目标后阈值$M\approx e^{2\beta-2\beta^2/d_k}$；d=64、β=8得$e^{14}\approx1.20\times10^6$。球面有限维RMS为约$1.27\times10^6$。若目标相似度ρ<1，将目标指数β改为βρ，容量会快速下降。
教师备课：指图与模拟问答
指图与推进 · 不朗读指球面RMS约127万及高斯近似约120万，保留条件和成本。
接下来
候选继续增加时，能不能调整读取的选择性？
补充推导、边界与来源
条目可随输入增加；在大量候选下，读取选择性还能维持到什么量级？
对高维随机单位key相似度近似N(0,1/d_k)，精确查询下相对目标的RMS干扰近似√M·exp(β²/d_k−β)。令其为1得到M≈exp(2β−2β²/d_k)；d_k=64,β=8给e^14≈1.20×10^6。独立球面积分RMS复算约1.27×10^6，与高斯近似和作者采样统计不是同一口径。若目标相似度变为ρ，同一高斯估计替换为exp(2βρ−2β²/d_k)，可在补充材料演示查询噪声使收益下降。
来源与继续阅读
I04 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
教学独立复算：随机球面向量RMS理论曲线