返回课堂

查询 A,为什么 B 和 C 也跟了进来?

M02/b0 · 三张固定记忆卡

查询 q = kAkey A → value A相似度 1key B → value B相似度 0.2key C → value C相似度 −0.2先用原始相似度,直接加权读取A 是目标;B、C 与查询也有非零相似度。带符号、未归一化的系数,不是概率
三张固定记忆卡

这三张卡的位置始终不动。每张卡上面是用来匹配的 key,下面是要带回的 value。我们查询的正是 A 的 key,所以它与 A 的相似度是1;与 B 是0.2,与 C 是负0.2。A、B、C 的 value 是三个不同方向的单位向量,因此每个成分都能单独看见。现在先不用概率,只按相似度直接加权。

教师备课:指图与模拟问答

指图与推进 · 不朗读依次指查询与三条相似度;不要求学生计算。

M02/b1 · 看见混入的成分

查询 q = kAkey A → value A相似度 1key B → value B相似度 0.2key C → value C相似度 −0.2线性读出:1A + 0.2B − 0.2CA:1B:0.2C:−0.2带符号、未归一化的系数,不是概率
看见混入的成分

读出结果是一个 A,加上零点二个 B,再减去零点二个 C。正向的柱子向上,负向的柱子向下。这三个系数不是概率;它们可以带负号,也不要求加起来等于一。目标 A 确实被读回来了,但答案同时夹带了 B 和 C 的成分。问题不是没有存住 A,而是读取时没有充分隔开相关与无关。

教师备课:指图与模拟问答

指图与推进 · 不朗读显出三根带共同零线的成分条,指出 C 向下。

M02/b2 · 候选更多时

查询 q = kAkey A → value A相似度 1key B → value B相似度 0.2key C → value C相似度 −0.2线性读出:1A + 0.2B − 0.2CA:1B:0.2C:−0.2更多弱相关候选:可能混入,也可能相互抵消
候选更多时

现在只在背后添上更多候选。每一项看起来可能都很弱,可是一项项叠加以后,查询仍要面对它们的影响。它们不一定同向,也可能抵消,所以这里没有画一条假装实测的增长曲线。我们只留下一个具体问题:能否让较强匹配保留下来,让弱匹配和不适合的响应更少进入结果?下一页保持这三张卡和原始分数不变。

教师备课:指图与模拟问答

指图与推进 · 不朗读加淡色候选;维持前三卡和三根成分条位置。

补充推导、边界与来源

这是一个可复算的独立教学构造。查询 q=kA=(1,0),另两个单位 key 为 kB=(0.2,√0.96)、kC=(−0.2,√0.96)。三个 value 是三维坐标基向量 A=(1,0,0)、B=(0,1,0)、C=(0,0,1)。查询与目标 key 完全相同,三个相似度分别为 1、0.2、−0.2。

线性读取 f(q)=Σᵢ(kᵢᵀq)vᵢ,因此输出为 A+0.2B−0.2C。目标是 A,非目标分量为 (0,0.2,−0.2),其欧氏长度 √0.08≈0.283。系数不是概率:可以为负,也没有归一化约束。图中的正负方向表示 value 分量的符号,不表示“负概率”。

最后增加的淡色候选只表示可能出现更多弱相关项,没有给出测量曲线。更多候选是否累计成更大干扰,取决于方向、相关性和读取规则;有些分量也可能相互抵消。这一构造不测量 Transformer 的知识容量,也不把 GPU 显存容量与成功读回条数混为一谈。

本页证据与条件

教学构造;用于辨认计算过程,不是模型运行结果

进入主题正文