完整深入材料 · 保留原页与全部停点。回到相关主讲
改变响应函数，容量曲线为什么会移动？
本页问题
从单个弱匹配的降低，走向大量随机候选的整体干扰。
AM11/b0 · 先比较Linear和ReLU
实验条件固定以后，我们只换从分数到权重的函数。ReLU去掉负分数那部分贡献，干扰降低一些。注意这不是把纵轴换了一个尺度，所有曲线都按同一条比值1的线来比较。
教师备课：指图与模拟问答
指图与推进 · 不朗读先读随机K/V、精确查询、显式存储条件，再比较Linear/ReLU与同一R=1线。
AM11/b1 · 显露平方曲线
平方ReLU进一步压小那些接近零的正匹配。每个无关条目少一点，累积以后差别就明显了。所以需要增加更多条目，干扰才会达到同一水平。我们刚才在两个条目上看到的变化，现在成为整条曲线的移动。 本页64维球面RMS口径下，平方这条到达比较线的条目数约为2817。
教师备课：指图与模拟问答
指图与推进 · 不朗读显露平方ReLU并读约2817的阈值，与0.6变0.36联系。
AM11/b2 · 增加幂次并读边界
继续提高幂次，能在这组理想条件下更强地突出目标。但这里没有白送存储空间：显式构造中的key和value都要有地方保存。图证明的是选择性怎样影响随机关联的读回，不是同一固定大小MLP突然获得了无限的事实容量。 立方这条在同一口径下约为38299，与原文采样统计分开标识。
进一步解释
64维球面RMS阈值分别为65、129、2817、38298.6（约38299）。对$g(s)=\max(s,0)^p$，$R^2=(M-1)\mathbb E[g(s)^2]/g(1)^2$，高阶矩是$(2p-1)!!/[2d(d+2)\cdots(d+2p-2)]$。原文约64、128、2700、35000为不同近似口径。
教师备课：指图与模拟问答
指图与推进 · 不朗读显露立方ReLU并读约38299，指出M增长也增加存储。
接下来
我们一直在强调强匹配。除了选一个幂次，还能用什么响应函数？
补充推导、边界与来源
从单个弱匹配的降低，走向大量随机候选的整体干扰。
对球面均匀单位key，s=kᵀx，精确查询目标得分为1。E[ReLU(s)^(2p)]=(2p−1)!!/[2d_k(d_k+2)…(d_k+2p−2)]，因此RMS干扰比为这一矩乘M−1再开方。大维度近似给出平方和立方的不同常数，不能只写d_k^p后把它当精确计数。独立复算在d_k=64时，平方ReLU的RMS阈值约2817；blog中常用近似约2700，二者指标/近似口径应分别标明。
来源与继续阅读
M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
教学独立复算：随机球面向量RMS理论曲线