怎样让这次读取更有选择？
M03/b0 · 保留原分数
教学构造。不同归一化下不以柱高作容量或性能排名；并非所有 MLP 使用平方 ReLU。
我们仍查询 A，三张卡的位置没有变，分数也仍然是一、零点二、负零点二。先保留刚才的线性结果，下一步只改从分数到响应的规则。这样看到的变化才能明确归因。
教师备课：指图与模拟问答
指图与推进 · 不朗读让相似度标签与上一页完全对齐。
M03/b1 · 替代方式一
教学构造。不同归一化下不以柱高作容量或性能排名；并非所有 MLP 使用平方 ReLU。
第一种教学规则是，负数先变成零，剩下的数再平方。于是 A 的响应仍是1，B 从0.2变成0.04，C 归零。B 的影响被压低，C 不再进入。这里没有把系数归一化，也不是说所有 MLP 都用这个函数；我们只是看见，非线性能够改变选择性。
教师备课：指图与模拟问答
指图与推进 · 不朗读保留共同零线；B 柱明显缩短、C 归零。
M03/b2 · 重新从原分数出发
教学构造。不同归一化下不以柱高作容量或性能排名；并非所有 MLP 使用平方 ReLU。
现在把分数恢复到最初的一、零点二、负零点二。这一步特别重要：下一种方法不是接在平方 ReLU 后面，我们要从同一个起点看另一条读取办法。
教师备课：指图与模拟问答
指图与推进 · 不朗读恢复原始成分条；高亮“重新从原分数出发”。
M03/b3 · 替代方式二
教学构造。不同归一化下不以柱高作容量或性能排名；并非所有 MLP 使用平方 ReLU。
第二种办法是把原分数乘以4后做 softmax。得到的权重大约是百分之九十五点三三、三点八九和零点七八。A 占据主要份量，其余两条仍有较小的正权重。这次权重是归一化的，刚才那组不是，所以不能看到哪根柱子更高，就宣布哪种模型更强。这几步只说明：同样的候选内容，读取规则可以改变干扰进入结果的方式。
教师备课：指图与模拟问答
指图与推进 · 不朗读显出归一化权重和总和为1；保持三卡固定。
补充推导、边界与来源
继续使用相似度 s=(1,0.2,−0.2) 和三维基向量 value。第一种替代示意是逐项平方 ReLU：g(s)=max(0,s)²，结果为 (1,0.04,0)。它去掉负响应并压低小的正响应，没有归一化为概率，也不是所有实际 MLP 的统一激活函数。
第二种替代示意重新从原始 s 开始，计算 softmax(4s)：(e⁴,e⁰·⁸,e⁻⁰·⁸)/(e⁴+e⁰·⁸+e⁻⁰·⁸)≈(0.953296,0.038858,0.007845)。这次系数非负、总和为1；图中写作约95.33%、3.89%、0.78%。4 是本构造用来观察锐度的参数，不是标准 attention 在所有维度下共用的缩放常数。
两种方案从原始分数分别出发，不是“分数→平方 ReLU→softmax”的串联。线性、平方 ReLU 和 softmax 的归一化不同，不能仅比较柱子高度宣称容量或任务性能排名。如果最高匹配本身错误，增强选择性也可能放大错误。真实 Transformer 还包含学习到的投影、多头、多层组合和 mask；此处只分离读取响应这一局部机制。
本页证据与条件
教学构造；用于辨认计算过程，不是模型运行结果