完整深入材料 · 保留原页与全部停点。回到相关主讲
弱匹配经过非线性,能少贡献一些
本页问题
线性写入仍有边界;现在回到原始相似度,只改读取规则。
AM09/b0 · 冻结其他条件
这次先回到最初两条key的相似度:目标是1,另一条是零点六。我们不重新训练W,只问读的时候能否改变每条内容的贡献。所有对照都从这组原始分数重新开始。
教师备课:指图与模拟问答
指图与推进 · 不朗读明确回到原始相似度[1,0.6],不接W*输出。
AM09/b1 · 区分ReLU和平方的作用
ReLU会把负分数变成零。不过这两个分数都为正,所以在这个小例子里,单独做ReLU没有改变结果。再平方就不同了:1仍然是1,零点六变成零点三六。弱匹配相对于目标的贡献下降了。
进一步解释
平方ReLU是$\max(s,0)^2$。本例都是正分数,所以ReLU不改变结果;平方才将0.6降为0.36。负匹配先截零,不会被平方翻成正贡献。
教师备课:指图与模拟问答
指图与推进 · 不朗读比较原分数、ReLU、平方ReLU,分别说明截负与压小正弱匹配。
AM09/b2 · 显示读出变化
现在读出的内容从A加零点六份B,变成A加零点三六份B。B还在,但少了一些。这里看到的是“怎样变得更有选择”,不是一个保证任何数据都能准确检索的开关。
教师备课:指图与模拟问答
指图与推进 · 不朗读指非线性在value汇总之前,对照1A+0.6B与1A+0.36B。
接下来
把这三个操作连起来,会得到一个我们已经见过的网络部件。
补充推导、边界与来源
线性写入仍有边界;现在回到原始相似度,只改读取规则。
f(x)=Σᵢvᵢσ(kᵢᵀx);本页没有归一化。平方ReLU是max(s,0)²,不是对所有带符号相似度直接平方。负相关项先被截断,避免把强负匹配变成强正贡献。
来源与继续阅读
M03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
教学构造与机制示意;非模型实测