本页学习说明
容量对照重新采用64维随机单位key/value、精确查询和β=8，不延续上一页二维β=4的算数。相同RMS指标和R=1参照下，线性、平方ReLU、指数的阈值分别约65、2817、127万。数量级说明读取规则的重要性；它没有把显式候选的保存和计算成本消掉，也不是固定现实模型可以背诵的知识条数。
球面RMS约127万、高斯近似约120万与博客采样统计属于不同口径。幂次、指数、查询噪声和候选存储的完整条件可从关联阅读继续。
与本页直接相关的完整材料
条件、推导与来源
AM15 · 注意力的检索容量，要连同实验条件一起读
条目可随输入增加；在大量候选下，读取选择性还能维持到什么量级？
对高维随机单位key相似度近似N(0,1/d_k)，精确查询下相对目标的RMS干扰近似√M·exp(β²/d_k−β)。令其为1得到M≈exp(2β−2β²/d_k)；d_k=64,β=8给e^14≈1.20×10^6。独立球面积分RMS复算约1.27×10^6，与高斯近似和作者采样统计不是同一口径。若目标相似度变为ρ，同一高斯估计替换为exp(2βρ−2β²/d_k)，可在补充材料演示查询噪声使收益下降。
来源与继续阅读
Alex Wang：对应原文小节。
I04 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
AM16 · 上下文变长，读取的锐度也值得重新考虑
固定锐度仍会积累干扰；只调整读取锐度，能否部分补偿长度增长？
原始Qwen报告中的LogN做法、Su的推导以及YaRN的尺度不同，不能合称所有模型都这样缩放。参考：Qwen、Su原文、YaRN。有限个互异key、精确查询、可任意提高锐度的数学极限，与有限精度、计算预算、训练分布及噪声查询下的实际系统应分开讨论。
来源与继续阅读
Alex Wang：对应原文小节。
M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
阅读完整讲义