完整深入材料 · 保留原页与全部停点。回到相关主讲
指数怎样拉开强匹配和弱匹配?
本页问题
提高幂次以外,指数也可以改变强弱匹配间的相对贡献。
AM12/b0 · 直接看比值
用指数给分数重新分配权重。这里的β控制相似度进入指数前放大多少,也叫锐度;本例取4。仍然是刚才两条线索,在这里设定的锐度下,B的权重相对于A只剩大约零点二。我们关心的是它相对于目标有多大,不是指数本身得到多大的数。
教师备课:指图与模拟问答
指图与推进 · 不朗读回到二维[1,0.6]、β=4,只比较相对目标[1,0.202]。
本态来源与条件
二维教学构造与手算;β = 4
AM12/b1 · 联系幂次
现在从两条key的手算切换到64维随机向量,锐度改为β等于8;不要把两组条件混在一起。指数可以展开成不同幂次的加权和。这样就把前面“提高幂次强调强匹配”的想法接了起来。不过这只是理解选择性的一种办法,并不是说机械地多加一项,就保证任何情况下都改善。
进一步解释
二维演示β=4;随机64维曲线β=8。图中2/3/4项截断分别保留到一次、二次、三次。$T_n(\beta s)=\sum_{p=0}^{n}(\beta s)^p/p!$须用它自己的目标响应$T_n(\beta)$归一化。部分奇次截断在负相似度下可能给负响应,不能称为概率权重。
教师备课:指图与模拟问答
指图与推进 · 不朗读改用64维随机向量、β=8;指级数及截断定义,明确条件切换。
本态来源与条件
教学独立复算:随机球面向量RMS理论曲线;d = 64,β = 8
AM12/b2 · 用对照曲线检查直觉
看这张独立RMS理论对照图,低阶截断里还有常数项,它会给许多无关条目也分配贡献。因此必须看完整的权重关系和计算曲线。把指数这一条和前面的线性线比较,才能看到它在这组条件下把干扰压到了什么程度。
教师备课:指图与模拟问答
指图与推进 · 不朗读用对照曲线检查直觉:比较同坐标下线性、截断与完整指数;指出常数项也分配贡献。
本态来源与条件
教学独立复算:随机球面向量RMS理论曲线;d = 64,β = 8
接下来
指数得到了一组正权重。再把它们变成总和为1的分配,就会认出attention的另一步。
本页证据与条件
二维教学构造与随机球面RMS理论曲线;条件随停点标注