同一实验里，读取规则改变了多少？
本页问题
容量对照重新采用64维随机单位key/value、精确查询和β=8，不延续上一页二维β=4的算数。相同RMS指标和R=1参照下，线性、平方ReLU、指数的阈值分别约65、2817、127万。数量级说明读取规则的重要性；它没有把显式候选的保存和计算成本消掉，也不是固定现实模型可以背诵的知识条数。
AR08/b0 · 先确认条件，再读同一比较线
现在明确换回随机向量实验：key和value都是六十四维，查询恰好等于一个已存key，指数锐度β为八。三条曲线使用同一种RMS比值与R等于一的线。沿交点看，线性是几十条，平方ReLU是千条，指数到了百万量级。变化来自读取分配的选择性，不是把三个不同任务的分数拼在一起。
进一步解释
从AR07的二维β=4切换到dₖ=dᵥ=64、β=8，目的由展示一次计算变为比较随机检索量级。图中线性65、平方2817、指数约127万采用同一球面RMS口径。
教师备课：指图与模拟问答
指图与推进 · 不朗读先指图顶完整条件，再沿同一R=1线比较三个交点。
AR08/b1 · 把百万条放回它的实验含义
当前球面RMS计算约一百二十七万，高斯近似约一百二十万。它们都是这组理想随机检索条件的量级，不是现实模型保证的知识数或上下文长度。候选仍需保存、计算，真实查询也常不等于目标key。这个结论已经足够有意思：读取规则本身能改变可用关联的范围。接下来回到Transformer，问这些K/V究竟从哪里来。
进一步解释
可继续阅读AM16的长上下文锐度调整（LogN、Su、YaRN）和资源限制。本段不在默认路线展开各算法。噪声查询相似度ρ<1会降低相对目标优势。
教师备课：指图与模拟问答
指图与推进 · 不朗读指127万与120万的口径区别，再指显式存储与精确查询条件。
接下来
真实Transformer里的K/V，是训练参数还是这次输入？
补充推导、边界与来源
球面RMS约127万、高斯近似约120万与博客采样统计属于不同口径。幂次、指数、查询噪声和候选存储的完整条件可从关联阅读继续。
与本页直接相关的完整材料
- AM15 · 注意力的检索容量，要连同实验条件一起读：原图、逐态说明与已校准推导。
- AM16 · 上下文变长，读取的锐度也值得重新考虑：原图、逐态说明与已校准推导。
条件、推导与来源
AM15 · 注意力的检索容量，要连同实验条件一起读
条目可随输入增加；在大量候选下，读取选择性还能维持到什么量级？
对高维随机单位key相似度近似N(0,1/d_k)，精确查询下相对目标的RMS干扰近似√M·exp(β²/d_k−β)。令其为1得到M≈exp(2β−2β²/d_k)；d_k=64,β=8给e^14≈1.20×10^6。独立球面积分RMS复算约1.27×10^6，与高斯近似和作者采样统计不是同一口径。若目标相似度变为ρ，同一高斯估计替换为exp(2βρ−2β²/d_k)，可在补充材料演示查询噪声使收益下降。
来源与继续阅读
I04 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
AM16 · 上下文变长，读取的锐度也值得重新考虑
固定锐度仍会积累干扰；只调整读取锐度，能否部分补偿长度增长？
原始Qwen报告中的LogN做法、Su的推导以及YaRN的尺度不同，不能合称所有模型都这样缩放。参考：Qwen、Su原文、YaRN。有限个互异key、精确查询、可任意提高锐度的数学极限，与有限精度、计算预算、训练分布及噪声查询下的实际系统应分开讨论。
来源与继续阅读
M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
随机向量检索的教学独立复算；源推导来自Alex Wang