返回课堂

让弱匹配在汇总前少出力

本页问题

此处回到原始key匹配分数[1,0.6],不使用W*的输出。对分数逐项施加ReLU不改变这两个正数,再平方得到[1,0.36],最后才汇总value。输出由v_A+0.6v_B变为v_A+0.36v_B。顺序决定含义:处理每条关联的响应与处理混合后的内容坐标不同;本页也没有将分数归一化为概率。

AR05/b0 · 回到原始分数,不接 W* 的答案

回到原始相似度 [1, 0.6],不接最优 W* 的输出原始匹配A:1B:0.6
回到原始分数,不接 W* 的答案

刚才改的是怎样写入。现在走另一条路,明确回到最初两条key的匹配分数:A是一,B是零点六。这里没有接着把W星的正确答案做平方,也不重新训练W。我们保留每条匹配,在它们汇总成答案之前,单独改变每条内容能够贡献多少。

进一步解释

本页从联合拟合路线退回原始K/V匹配,以隔离读取规则的作用。始终不使用W*输出作为非线性函数的输入。

教师备课:指图与模拟问答

指图与推进 · 不朗读指原始分数[1,0.6],从匹配位置重新开始。

AR05/b1 · ReLU不变,平方才压小正数

回到原始相似度 [1, 0.6],不接最优 W* 的输出原始匹配A:1B:0.6ReLUA:1B:0.6平方 ReLUA:1B:0.36负数置零;本例两项都为正max(s, 0)²
ReLU不变,平方才压小正数

ReLU先把负分数截成零;不过眼前两个数都为正,因此只做ReLU并没有改变它们。再平方,一仍是一,零点六变成零点三六。目标保持,较弱的正匹配相对下降。顺序很关键:先对每项响应做非线性,再汇总value;不是对已经混在一起的输出做一次平方。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿分数→ReLU→平方,分别核验1与0.6的变化。

AR05/b2 · 比较实际贡献,B仍然存在

回到原始相似度 [1, 0.6],不接最优 W* 的输出原始匹配A:1B:0.6ReLUA:1B:0.6平方 ReLUA:1B:0.36负数置零;本例两项都为正max(s, 0)²vA + 0.6 vBvA + 0.36 vB先改分数 → 再汇总内容;没有归一化
比较实际贡献,B仍然存在

于是同一查询从一份A加零点六份B,变成一份A加零点三六份B。B并没有消失,只是少贡献了一些。我们现在获得的是选择性的具体机制,不是一个能保证任何数据都检索正确的开关。把刚才发生的三个动作连起来:比较线索、逐项非线性、再汇总内容,看看它像哪一种已经见过的网络。

教师备课:指图与模拟问答

指图与推进 · 不朗读在同一尺度下比较两次A/B贡献;停在B仍非零。

接下来

匹配、非线性、汇总三个操作连起来,是什么网络?

补充推导、边界与来源

本页未归一化。$f(x)=\sum_i v_i\sigma(k_i^\top x)$;平方ReLU是$\max(s,0)^2$。

与本页直接相关的完整材料

条件、推导与来源

AM09 · 弱匹配经过非线性,能少贡献一些

线性写入仍有边界;现在回到原始相似度,只改读取规则。

f(x)=Σᵢvᵢσ(kᵢᵀx);本页没有归一化。平方ReLU是max(s,0)²,不是对所有带符号相似度直接平方。负相关项先被截断,避免把强负匹配变成强正贡献。

来源与继续阅读

Alex Wang:对应原文小节。

M03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

两条关联的教学构造;线性代数按列向量约定

进入主题正文