返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

上下文变长，读取的锐度也值得重新考虑

本页问题

固定锐度仍会积累干扰；只调整读取锐度，能否部分补偿长度增长？

AM16/b0 · 看固定锐度

随机 64 维检索 · 查询 = 已存 key · 长度参考 M₀ = 1,024RMS 干扰 / 实际目标项（对数轴）0.0010.010.11161.0k65.5k2.1M记忆条目数 M（对数轴）R = 1M₀固定 β = 8候选越来越多固定锐度下弱贡献仍会累积先固定读取系数，观察长度增加的影响教学独立复算 · 有限长度范围的理论 RMS · 不推出无限记忆
看固定锐度

候选更多，许多弱贡献仍可能累积。固定的读取锐度，不一定在所有长度上都维持同样的行为。先看固定系数这条线，长度变化本身已经改变了这次检索的处境。

教师备课：指图与模拟问答

指图与推进 · 不朗读先沿固定β=8曲线看候选增加后的R。

AM16/b1 · 调整选择性

随机 64 维检索 · 查询 = 已存 key · 长度参考 M₀ = 1,024RMS 干扰 / 实际目标项（对数轴）0.0010.010.11161.0k65.5k2.1M记忆条目数 M（对数轴）R = 1M₀固定 β = 8随长度调整 LogNβ = 8 · max(1, ln M / ln 1024)另看同一组分数[1, 0.6, 0.2, −0.1]β=1β=8A：40.8% → 95.9%B：27.3% → 3.9%C、D 的权重也随之下降本图只比较读取分配，非完整长上下文系统教学独立复算 · 有限长度范围的理论 RMS · 不推出无限记忆
调整选择性

一种思路是随着长度适当改变softmax之前的分数，也就是logit的尺度，让分配更有选择性。这里画一条明确的LogN教学对照：参考长度1024，超过它以后，β按长度对数的比例增加。在本页独立RMS理论图范围内，它降低了干扰。这里先记住它解决的是什么问题：输入长度改变后，读取分配也需要考虑长度带来的影响。

进一步解释

本图LogN规则$\beta(M)=8\max(1,\ln M/\ln1024)$。1024是教学参考长度，不是Qwen报告的真实训练长度（2048）。Qwen、Su、YaRN的尺度不同；此处没有运行这些模型。

教师备课：指图与模拟问答

指图与推进 · 不朗读显露LogN对照，指M₀=1024与β(M)，再看同分数不同β下的全部权重。

AM16/b2 · 说明代价

随机 64 维检索 · 查询 = 已存 key · 长度参考 M₀ = 1,024RMS 干扰 / 实际目标项（对数轴）0.0010.010.11161.0k65.5k2.1M记忆条目数 M（对数轴）R = 1M₀固定 β = 8随长度调整 LogNβ = 8 · max(1, ln M / ln 1024)另看同一组分数[1, 0.6, 0.2, −0.1]β=1β=8A：40.8% → 95.9%B：27.3% → 3.9%C、D 的权重也随之下降更尖锐会减少混合；不免除存储与计算成本教学独立复算 · 有限长度范围的理论 RMS · 不推出无限记忆
说明代价

但锐度不是越大越好。太尖的分配会接近只选一项，多个相关内容就难以共同参与；训练时也可能出现饱和，许多方向的梯度变得很小。再长的上下文还需要实际的存储和计算资源。因此图上的理论检索改善，不能直接改写成“模型拥有无限记忆”。

进一步解释

YaRN报告中$0.1\ln(s)+1$是q/k幅度尺度，作用到logit后平方；s是上下文扩展比例。将它按当前M变化是检索实验设置，不能等同完整YaRN部署。不同尺度规则的比较需要连同参考长度、向量约定和适用条件一起阅读。

教师备课：指图与模拟问答

指图与推进 · 不朗读指尖锐分配中各候选权重，说明多项合用、梯度与资源代价。

接下来

现在把这些机制放回最初的问题：能承载，离真正学会还差什么？

补充推导、边界与来源

固定锐度仍会积累干扰；只调整读取锐度，能否部分补偿长度增长？

原始Qwen报告中的LogN做法、Su的推导以及YaRN的尺度不同，不能合称所有模型都这样缩放。参考：Qwen、Su原文、YaRN。有限个互异key、精确查询、可任意提高锐度的数学极限，与有限精度、计算预算、训练分布及噪声查询下的实际系统应分开讨论。

来源与继续阅读

Alex Wang：对应原文小节。

M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

教学独立复算：随机球面向量RMS理论曲线

进入主题正文