本页学习说明
外积直接累加不是唯一写法。令同一个2×2矩阵同时满足Wk_A=v_A、Wk_B=v_B:A的约束固定第一列为(1,0),B再给出0.6+0.8b=0、0.8d=1,所以W*=[[1,−0.75],[0,1.25]]。两条key保持不变,读回却都精确。推广到64维时,线性独立条件下M≤64的精确恢复区,与过载后约M=128达到R=1的区间不同;更好的写法延后干扰,但没有无限容量。
W*=[[1,−0.75],[0,1.25]] 可直接核验两次乘法。拟合范围、精确恢复区和过载阈值各有不同含义,完整伪逆与投影推导保留。
与本页直接相关的完整材料
条件、推导与来源
AM07 · 同样一个线性层,可以把两条都读对
先改写入:key/value与矩阵尺寸都不变,只重新选择权重。
求解min_W Σᵢ||Wkᵢ−vᵢ||²。本例代入可直接核验:W*k_A=(1,0);W*k_B=(0.6−0.75×0.8,1.25×0.8)=(0,1)。独立key数量不超过输入维度时,无正则的线性回归可拟合所有这些指定关联。病态key、数值精度、噪声查询是另外的问题。
来源与继续阅读
Alex Wang:对应原文小节。
I02 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
AM08 · 最优线性写入能延后干扰,仍然有边界
手算例说明写入能改善;曲线检查改善在哪个范围成立。
M>d_k且K满列秩时,W*=VᵀK(KᵀK)⁻¹。权重矩阵P=K(KᵀK)⁻¹Kᵀ是投影,目标贡献是P_jj v_j,不能仍把目标系数写成1。由Σ_(i≠j)P_ij²=P_jj−P_jj²,若P_jj≈d_k/M,比值近似√(M/d_k−1)。因此约2d_k是“干扰约等于信号”的量级,不是精确恢复2d_k条。全节R的分母是实际目标项a_jj v_j,所以它不普遍等于||f(k_j)−v_j||/||v_j||,更不是错误率。
来源与继续阅读
Alex Wang:对应原文小节。
I03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
阅读完整讲义