本页学习说明
此处回到原始key匹配分数[1,0.6],不使用W*的输出。对分数逐项施加ReLU不改变这两个正数,再平方得到[1,0.36],最后才汇总value。输出由v_A+0.6v_B变为v_A+0.36v_B。顺序决定含义:处理每条关联的响应与处理混合后的内容坐标不同;本页也没有将分数归一化为概率。
本页未归一化。$f(x)=\sum_i v_i\sigma(k_i^\top x)$;平方ReLU是$\max(s,0)^2$。
与本页直接相关的完整材料
条件、推导与来源
AM09 · 弱匹配经过非线性,能少贡献一些
线性写入仍有边界;现在回到原始相似度,只改读取规则。
f(x)=Σᵢvᵢσ(kᵢᵀx);本页没有归一化。平方ReLU是max(s,0)²,不是对所有带符号相似度直接平方。负相关项先被截断,避免把强负匹配变成强正贡献。
来源与继续阅读
Alex Wang:对应原文小节。
M03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
阅读完整讲义