同样大小的 W,可以把两条都读对
本页问题
外积直接累加不是唯一写法。令同一个2×2矩阵同时满足Wk_A=v_A、Wk_B=v_B:A的约束固定第一列为(1,0),B再给出0.6+0.8b=0、0.8d=1,所以W*=[[1,−0.75],[0,1.25]]。两条key保持不变,读回却都精确。推广到64维时,线性独立条件下M≤64的精确恢复区,与过载后约M=128达到R=1的区间不同;更好的写法延后干扰,但没有无限容量。
AR04/b0 · 只换 W,先检查 A
原先把两次外积直接相加,没有要求每一条都单独读对。现在改写入办法:一起求一个W星,使W星乘A的key得到A的value,乘B的key得到B的value。A的key是(1,0),所以矩阵第一列必须是(1,0)。B又要求第一行的零点六被抵消、第二行得到一,因此另外两个数解成负零点七五和一点二五。尺寸仍是两行两列,线索和内容也没变,变的是四个权重如何联合选择。先查A:新读出恰好是(1,0)。
进一步解释
令W=[[a,b],[c,d]]。Wk_A=v_A给a=1、c=0;W*k_B=v_B给0.6a+0.8b=0、0.6c+0.8d=1。故唯一解为[[1,−0.75],[0,1.25]]。本例展示改写入的可行性,不声称真实网络用这一步解析求逆完成全部学习。
教师备课:指图与模拟问答
指图与推进 · 不朗读先指两条共同约束,再读W*的第一列与待求第二列,核对下方查询A的原/新读回;不是在输出图样上修正误差。
AR04/b1 · 再检查 B,key 仍不正交
再查B。W星第一行给出零点六减去零点七五乘零点八,结果为零;第二行给出一点二五乘零点八,结果为一,所以读回(0,1)。原来外积W会读出(0.6,1),比较就能看到串扰被消掉。两条key始终没有变得正交;这两个独立方向可以由合适的线性变换分开。新W不是凭空出现的标准答案,而是由两条读回约束共同求出的。
进一步解释
这里解的是无正则最小二乘问题;有限独立key的可拟合性,不保证噪声查询、病态矩阵或未见输入也能精确读回。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿W*k_B的两行乘法核对0和1,再与原W的(0.6,1)对照。
AR04/b2 · 精确恢复与阈值改善是两件事
回到六十四维的曲线,灰色仍是外积累加,蓝色是联合拟合。key线性独立时,六十四条以内可以精确恢复;这段零误差区和后面约一百二十八条才达到R等于一的区域要分开。过载部分采用各向同性近似,两条曲线后段仍会升高。更认真写入延后了问题,却没有消除问题。那就回到读取:弱匹配能否少贡献一些?
进一步解释
过载投影中目标项是$P_{jj}v_j$,不是固定的$v_j$;R约为$\sqrt{M/d_k-1}$。约2dₖ是干扰/实际目标项阈值,不是精确恢复条数。
教师备课:指图与模拟问答
指图与推进 · 不朗读先指 M≤64 零误差区,再指约128的R=1交点,最后看后段上升。
接下来
仍按相似度汇总时,能否在汇总前压低弱匹配?
补充推导、边界与来源
W*=[[1,−0.75],[0,1.25]] 可直接核验两次乘法。拟合范围、精确恢复区和过载阈值各有不同含义,完整伪逆与投影推导保留。
与本页直接相关的完整材料
- AM07 · 同样一个线性层,可以把两条都读对:原图、逐态说明与已校准推导。
- AM08 · 最优线性写入能延后干扰,仍然有边界:原图、逐态说明与已校准推导。
条件、推导与来源
AM07 · 同样一个线性层,可以把两条都读对
先改写入:key/value与矩阵尺寸都不变,只重新选择权重。
求解min_W Σᵢ||Wkᵢ−vᵢ||²。本例代入可直接核验:W*k_A=(1,0);W*k_B=(0.6−0.75×0.8,1.25×0.8)=(0,1)。独立key数量不超过输入维度时,无正则的线性回归可拟合所有这些指定关联。病态key、数值精度、噪声查询是另外的问题。
来源与继续阅读
I02 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
AM08 · 最优线性写入能延后干扰,仍然有边界
手算例说明写入能改善;曲线检查改善在哪个范围成立。
M>d_k且K满列秩时,W*=VᵀK(KᵀK)⁻¹。权重矩阵P=K(KᵀK)⁻¹Kᵀ是投影,目标贡献是P_jj v_j,不能仍把目标系数写成1。由Σ_(i≠j)P_ij²=P_jj−P_jj²,若P_jj≈d_k/M,比值近似√(M/d_k−1)。因此约2d_k是“干扰约等于信号”的量级,不是精确恢复2d_k条。全节R的分母是实际目标项a_jj v_j,所以它不普遍等于||f(k_j)−v_j||/||v_j||,更不是错误率。
来源与继续阅读
I03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
两条关联的教学构造;线性代数按列向量约定