返回课堂

同样大小的 W,可以把两条都读对

本页问题

外积直接累加不是唯一写法。令同一个2×2矩阵同时满足Wk_A=v_A、Wk_B=v_B:A的约束固定第一列为(1,0),B再给出0.6+0.8b=0、0.8d=1,所以W*=[[1,−0.75],[0,1.25]]。两条key保持不变,读回却都精确。推广到64维时,线性独立条件下M≤64的精确恢复区,与过载后约M=128达到R=1的区间不同;更好的写法延后干扰,但没有无限容量。

AR04/b0 · 只换 W,先检查 A

A:k = v = (1, 0);B:k = (0.6, 0.8),v = (0, 1)直接叠加外积100.60.8原 W共同要求:W*kA = vA,W*kB = vB由 A:第一列 (1, 0);第二列设 (b, d)由 B:0.6 + 0.8b = 0;0.8d = 11−0.7501.25解出 W*查询 A原读回 (1, 0.6)目标 (1, 0)W*(1, 0) = (1, 0)= vA,A 的串扰消失
只换 W,先检查 A

原先把两次外积直接相加,没有要求每一条都单独读对。现在改写入办法:一起求一个W星,使W星乘A的key得到A的value,乘B的key得到B的value。A的key是(1,0),所以矩阵第一列必须是(1,0)。B又要求第一行的零点六被抵消、第二行得到一,因此另外两个数解成负零点七五和一点二五。尺寸仍是两行两列,线索和内容也没变,变的是四个权重如何联合选择。先查A:新读出恰好是(1,0)。

进一步解释

令W=[[a,b],[c,d]]。Wk_A=v_A给a=1、c=0;W*k_B=v_B给0.6a+0.8b=0、0.6c+0.8d=1。故唯一解为[[1,−0.75],[0,1.25]]。本例展示改写入的可行性,不声称真实网络用这一步解析求逆完成全部学习。

教师备课:指图与模拟问答

指图与推进 · 不朗读先指两条共同约束,再读W*的第一列与待求第二列,核对下方查询A的原/新读回;不是在输出图样上修正误差。

AR04/b1 · 再检查 B,key 仍不正交

A:k = v = (1, 0);B:k = (0.6, 0.8),v = (0, 1)直接叠加外积100.60.8原 W共同要求:W*kA = vA,W*kB = vB由 A:第一列 (1, 0);第二列设 (b, d)由 B:0.6 + 0.8b = 0;0.8d = 11−0.7501.25解出 W*查询 B原读回 (0.6, 1)目标 (0, 1)(0.6 − 0.75×0.8, 1.25×0.8)= (0, 1) = vB
再检查 B,key 仍不正交

再查B。W星第一行给出零点六减去零点七五乘零点八,结果为零;第二行给出一点二五乘零点八,结果为一,所以读回(0,1)。原来外积W会读出(0.6,1),比较就能看到串扰被消掉。两条key始终没有变得正交;这两个独立方向可以由合适的线性变换分开。新W不是凭空出现的标准答案,而是由两条读回约束共同求出的。

进一步解释

这里解的是无正则最小二乘问题;有限独立key的可拟合性,不保证噪声查询、病态矩阵或未见输入也能精确读回。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿W*k_B的两行乘法核对0和1,再与原W的(0.6,1)对照。

AR04/b2 · 精确恢复与阈值改善是两件事

64 维随机关联 · 精确查询 · 蓝线过载区:各向同性投影近似RMS 干扰 / 实际目标项0123164128256512记忆条目数 MR = 1外积累加R = 1:M = 65最优线性写入R ≈ 1:M ≈ 128M ≤ 64:精确恢复条件:key 线性独立零误差区间只到 64;约 128 是干扰 / 信号阈值
精确恢复与阈值改善是两件事

回到六十四维的曲线,灰色仍是外积累加,蓝色是联合拟合。key线性独立时,六十四条以内可以精确恢复;这段零误差区和后面约一百二十八条才达到R等于一的区域要分开。过载部分采用各向同性近似,两条曲线后段仍会升高。更认真写入延后了问题,却没有消除问题。那就回到读取:弱匹配能否少贡献一些?

进一步解释

过载投影中目标项是$P_{jj}v_j$,不是固定的$v_j$;R约为$\sqrt{M/d_k-1}$。约2dₖ是干扰/实际目标项阈值,不是精确恢复条数。

教师备课:指图与模拟问答

指图与推进 · 不朗读先指 M≤64 零误差区,再指约128的R=1交点,最后看后段上升。

接下来

仍按相似度汇总时,能否在汇总前压低弱匹配?

补充推导、边界与来源

W*=[[1,−0.75],[0,1.25]] 可直接核验两次乘法。拟合范围、精确恢复区和过载阈值各有不同含义,完整伪逆与投影推导保留。

与本页直接相关的完整材料

条件、推导与来源

AM07 · 同样一个线性层,可以把两条都读对

先改写入:key/value与矩阵尺寸都不变,只重新选择权重。

求解min_W Σᵢ||Wkᵢ−vᵢ||²。本例代入可直接核验:W*k_A=(1,0);W*k_B=(0.6−0.75×0.8,1.25×0.8)=(0,1)。独立key数量不超过输入维度时,无正则的线性回归可拟合所有这些指定关联。病态key、数值精度、噪声查询是另外的问题。

来源与继续阅读

Alex Wang:对应原文小节。

I02 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

AM08 · 最优线性写入能延后干扰,仍然有边界

手算例说明写入能改善;曲线检查改善在哪个范围成立。

M>d_k且K满列秩时,W*=VᵀK(KᵀK)⁻¹。权重矩阵P=K(KᵀK)⁻¹Kᵀ是投影,目标贡献是P_jj v_j,不能仍把目标系数写成1。由Σ_(i≠j)P_ij²=P_jj−P_jj²,若P_jj≈d_k/M,比值近似√(M/d_k−1)。因此约2d_k是“干扰约等于信号”的量级,不是精确恢复2d_k条。全节R的分母是实际目标项a_jj v_j,所以它不普遍等于||f(k_j)−v_j||/||v_j||,更不是错误率。

来源与继续阅读

Alex Wang:对应原文小节。

I03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

两条关联的教学构造;线性代数按列向量约定

进入主题正文