返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

指数怎样拉开强匹配和弱匹配?

本页问题

提高幂次以外,指数也可以改变强弱匹配间的相对贡献。

AM12/b0 · 直接看比值

回到二维例子 · sA = 1,sB = 0.6 · 本页演示 β = 4目标 A非目标 B110.60.202原始分数指数 / 目标指数exp(4 × 0.6) / exp(4 × 1) = exp(−1.6) ≈ 0.202比较的是相对于目标的贡献,不是指数值本身变小二维教学构造 · 尚未归一化 · 下一页继续使用 β = 4
直接看比值

用指数给分数重新分配权重。这里的β控制相似度进入指数前放大多少,也叫锐度;本例取4。仍然是刚才两条线索,在这里设定的锐度下,B的权重相对于A只剩大约零点二。我们关心的是它相对于目标有多大,不是指数本身得到多大的数。

教师备课:指图与模拟问答

指图与推进 · 不朗读回到二维[1,0.6]、β=4,只比较相对目标[1,0.202]。

本态来源与条件

二维教学构造与手算;β = 4

AM12/b1 · 联系幂次

换为随机 64 维检索 · 精确查询 · 本图 β = 8exp(βs) = 1 + βs + (βs)² / 2 + (βs)³ / 6 + …RMS 干扰 / 实际目标项(对数轴)0.0010.010.11101001k10k100k1M记忆条目数 M(对数轴)R = 1线性(参照)2 项:至一次3 项:至平方4 项:至立方2 项截断:阈值 41.5比线性的 65 更早到 R = 1低阶含常数项;增加一项不构成普遍改善保证教学独立复算 · 截断是未归一化响应,部分可为负值;不是概率
联系幂次

现在从两条key的手算切换到64维随机向量,锐度改为β等于8;不要把两组条件混在一起。指数可以展开成不同幂次的加权和。这样就把前面“提高幂次强调强匹配”的想法接了起来。不过这只是理解选择性的一种办法,并不是说机械地多加一项,就保证任何情况下都改善。

进一步解释

二维演示β=4;随机64维曲线β=8。图中2/3/4项截断分别保留到一次、二次、三次。$T_n(\beta s)=\sum_{p=0}^{n}(\beta s)^p/p!$须用它自己的目标响应$T_n(\beta)$归一化。部分奇次截断在负相似度下可能给负响应,不能称为概率权重。

教师备课:指图与模拟问答

指图与推进 · 不朗读改用64维随机向量、β=8;指级数及截断定义,明确条件切换。

本态来源与条件

教学独立复算:随机球面向量RMS理论曲线;d = 64,β = 8

AM12/b2 · 用对照曲线检查直觉

换为随机 64 维检索 · 精确查询 · 本图 β = 8exp(βs) = 1 + βs + (βs)² / 2 + (βs)³ / 6 + …RMS 干扰 / 实际目标项(对数轴)0.0010.010.11101001k10k100k1M记忆条目数 M(对数轴)R = 1线性(参照)2 项:至一次3 项:至平方4 项:至立方完整指数2 项截断:阈值 41.5比线性的 65 更早到 R = 1低阶含常数项;增加一项不构成普遍改善保证教学独立复算 · 截断是未归一化响应,部分可为负值;不是概率
用对照曲线检查直觉

看这张独立RMS理论对照图,低阶截断里还有常数项,它会给许多无关条目也分配贡献。因此必须看完整的权重关系和计算曲线。把指数这一条和前面的线性线比较,才能看到它在这组条件下把干扰压到了什么程度。

教师备课:指图与模拟问答

指图与推进 · 不朗读用对照曲线检查直觉:比较同坐标下线性、截断与完整指数;指出常数项也分配贡献。

本态来源与条件

教学独立复算:随机球面向量RMS理论曲线;d = 64,β = 8

接下来

指数得到了一组正权重。再把它们变成总和为1的分配,就会认出attention的另一步。

补充推导、边界与来源

提高幂次以外,指数也可以改变强弱匹配间的相对贡献。

exp(βs)=Σ_(p≥0)(βs)^p/p!。所有指数项整体除以目标权重后,非目标项相对权重为exp(β(s_i−1))。本页β=4仅为二维演示,后面的随机64维容量实验另用β=8,切换处必须明示。

来源与继续阅读

Alex Wang:对应原文小节。

I04 原阅读材料 · M03 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

二维教学构造与随机球面RMS理论曲线;条件随停点标注

进入主题正文