让较强的匹配获得更多份量
I04/b0 · 先归一化，再读出
scale = 1
输出 ≈ 14.013
scale = 5
输出 ≈ 11.192
机制玩具。softmax 提供选择性，不保证所有上下文学习都可由这一个操作解释。
现在让这两个匹配分数经过 softmax。它们先取指数，再除以总和，得到大约零点五九九和零点四零一。两个权重合起来是一，输出变成十和二十的加权平均，大约十四点零一。和刚才的线性求和相比，贡献的尺度被统一了，较强匹配也获得较大份量。这正是我们在上一讲 attention 里已经见过的那一步；今天我们从读取和干扰的角度再理解一次。归一化还有一个直接结果：这个标量例子的输出落在十和二十之间。但落在数值范围里并不等于语义正确，它只是这组正权重平均的数学性质。
教师备课：指图与模拟问答
指图与推进 · 不朗读教师指向当前高亮对象，随后推进。
I04/b1 · 选择性更强，但不是可靠性保证
scale = 1
输出 ≈ 14.013
scale = 5
输出 ≈ 11.192
机制玩具。softmax 提供选择性，不保证所有上下文学习都可由这一个操作解释。
为了看出非线性选择的作用，我们把分数都乘五。权重变成约零点八八一和零点一一九，输出约十一点一九，更多地靠近第一项十。这里仅是一个固定示意，不是建议给所有模型都把温度调得更尖。如果 query 本来就和错误内容更相似，选择性增强只会更坚定地读错。我们真正得到的是一个机制支点：根据当前查询，对可见内容有选择地加权读取。下一页把这些 key 和 value 放回模型：它们有些来自训练形成的权重，有些来自这一次输入。
教师备课：指图与模拟问答
指图与推进 · 不朗读教师指向当前高亮对象，随后推进。
补充推导、边界与来源
沿用匹配分数 (1,0.6)，softmax 把它们转成归一化正权重，约为 (0.599,0.401)，读取 value (10,20) 得约 14.013。若在这个玩具构造中把分数同乘 5，权重约为 (0.881,0.119)，输出约 11.192。较大的匹配差别被指数放大，较强项获得更多份量。
这里的系数 5 用于说明选择性，不能当成真实 attention 一律该采用的调参建议。标准 attention 还按 head 维度进行缩放，并受 mask 和多层表征影响。若分数本身把错误内容排在前面，更尖锐的分布会更确信地读错。softmax 提供了可微、归一化的读取接口，既不是事实核查器，也不是上下文学习的完整理论。
本页证据与条件
B02；A29