返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

弱匹配经过非线性,能少贡献一些

本页问题

线性写入仍有边界;现在回到原始相似度,只改读取规则。

AM09/b0 · 冻结其他条件

回到原始相似度 [1, 0.6],不接最优 W* 的输出原始匹配A:1B:0.6
冻结其他条件

这次先回到最初两条key的相似度:目标是1,另一条是零点六。我们不重新训练W,只问读的时候能否改变每条内容的贡献。所有对照都从这组原始分数重新开始。

教师备课:指图与模拟问答

指图与推进 · 不朗读明确回到原始相似度[1,0.6],不接W*输出。

AM09/b1 · 区分ReLU和平方的作用

回到原始相似度 [1, 0.6],不接最优 W* 的输出原始匹配A:1B:0.6ReLUA:1B:0.6平方 ReLUA:1B:0.36负数置零;本例两项都为正max(s, 0)²
区分ReLU和平方的作用

ReLU会把负分数变成零。不过这两个分数都为正,所以在这个小例子里,单独做ReLU没有改变结果。再平方就不同了:1仍然是1,零点六变成零点三六。弱匹配相对于目标的贡献下降了。

进一步解释

平方ReLU是$\max(s,0)^2$。本例都是正分数,所以ReLU不改变结果;平方才将0.6降为0.36。负匹配先截零,不会被平方翻成正贡献。

教师备课:指图与模拟问答

指图与推进 · 不朗读比较原分数、ReLU、平方ReLU,分别说明截负与压小正弱匹配。

AM09/b2 · 显示读出变化

回到原始相似度 [1, 0.6],不接最优 W* 的输出原始匹配A:1B:0.6ReLUA:1B:0.6平方 ReLUA:1B:0.36负数置零;本例两项都为正max(s, 0)²v_A + 0.6 v_Bv_A + 0.36 v_B逐项改变分数 → 再汇总内容;这里没有归一化
显示读出变化

现在读出的内容从A加零点六份B,变成A加零点三六份B。B还在,但少了一些。这里看到的是“怎样变得更有选择”,不是一个保证任何数据都能准确检索的开关。

教师备课:指图与模拟问答

指图与推进 · 不朗读指非线性在value汇总之前,对照1A+0.6B与1A+0.36B。

接下来

把这三个操作连起来,会得到一个我们已经见过的网络部件。

补充推导、边界与来源

线性写入仍有边界;现在回到原始相似度,只改读取规则。

f(x)=Σᵢvᵢσ(kᵢᵀx);本页没有归一化。平方ReLU是max(s,0)²,不是对所有带符号相似度直接平方。负相关项先被截断,避免把强负匹配变成强正贡献。

来源与继续阅读

Alex Wang:对应原文小节。

M03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

教学构造与机制示意;非模型实测

进入主题正文