从已经发生的运算中，认出 MLP
本页问题
匹配线索Kx、逐项非线性σ、组合内容Vᵀσ(Kx)，构成两层MLP的计算形式。将K和Vᵀ分别称为W₁和W₂，运算本身不变。在手工构造中，中间宽度H=M，每条候选占一个响应；真实模型的方向由训练共同形成，不必逐行对应人类事实。随机检索曲线说明非线性可改变干扰积累，显式K/V的存储也随M增长。
AR06/b0 · 沿三步辨认计算
我们不是先摆出一个MLP名词，再给它找用途。刚才解决读取问题时，已经走出了这条计算链：第一个矩阵把输入与不同线索比较，中间逐项施加非线性，第二个矩阵把各项响应组合为输出。请沿箭头再走一次，计算对象还是同一批线索、响应和内容。两层MLP的形式就在这三个动作里。
进一步解释
MLP是多层感知机；此处指带逐项非线性的两层前馈结构。先辨认已经做过的三个动作，再给W₁、W₂名称，避免把命名当作新的运算。
教师备课：指图与模拟问答
指图与推进 · 不朗读沿K匹配→逐项非线性→V汇总，保持空间和箭头身份。
AR06/b1 · 只换矩阵名称，不换计算
把第一个矩阵叫W一，第二个叫W二，运算并没有换。显式构造中，每条候选占一个中间响应，所以宽度H等于条目数M。真实模型中的方向由训练形成，不必一行对应一条人类能命名的事实；多个方向可以共同参与一个判断。这个关联记忆视角帮助我们理解计算，不是把MLP直接还原成一格一条的知识字典。
进一步解释
真实FFN还可能带偏置、门控、残差与归一化。Geva等研究支持参数化关联解释，但不能由此推出知识全部储存在MLP或一单元一事实。
教师备课：指图与模拟问答
指图与推进 · 不朗读只追矩阵名称的对应；指H=M并区分显式构造与训练网络。
AR06/b2 · 两个条目的变化，成为一条曲线的移动
换回同条件随机检索，灰色是线性，紫色是ReLU，绿色是平方ReLU。每个无关条目少贡献一点，很多项累积起来，达到同一条R等于一的线就要更多条目。这里平方曲线到千条量级，当前球面RMS口径约二千八百一十七。与此同时，显式K/V也随条目数增长；曲线比较的是读取规则，不是在固定总参数量里免费塞入更多知识。
进一步解释
平方RMS阈值2817与原博客近似约2700分开标识。立方约38299、SwiGLU特设及完整高阶矩推导在AM11完整阅读，不进入默认下一步。
教师备课：指图与模拟问答
指图与推进 · 不朗读沿同一R=1线读三曲线交点；指紧邻的显式K/V存储条件。
接下来
除了平方，还有什么函数能拉开强弱匹配的相对贡献？
补充推导、边界与来源
保留显式构造H=M这一条件。容量曲线不能直接解释固定宽度MLP能记住多少现实事实。
与本页直接相关的完整材料
- AM10 · 比较线索、调节响应、汇总内容：认出MLP：原图、逐态说明与已校准推导。
- AM11 · 改变响应函数，容量曲线为什么会移动？：原图、逐态说明与已校准推导。
条件、推导与来源
AM10 · 比较线索、调节响应、汇总内容：认出MLP
匹配、非线性与汇总的操作已建立，现在辨认其网络形式。
Geva等在其研究模型中将FFN的key响应与文本模式、value与输出分布联系起来，并分析多个记忆贡献的组合。本页只采用这一受实验支持的解释，不把全部知识归属到MLP，不把每个hidden unit等同于一条事实。偏置、残差、归一化和门控结构另在材料中展开。
来源与继续阅读
M04 原阅读材料 · P05 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
AM11 · 改变响应函数，容量曲线为什么会移动？
从单个弱匹配的降低，走向大量随机候选的整体干扰。
对球面均匀单位key，s=kᵀx，精确查询目标得分为1。E[ReLU(s)^(2p)]=(2p−1)!!/[2d_k(d_k+2)…(d_k+2p−2)]，因此RMS干扰比为这一矩乘M−1再开方。大维度近似给出平方和立方的不同常数，不能只写d_k^p后把它当精确计数。独立复算在d_k=64时，平方ReLU的RMS阈值约2817；blog中常用近似约2700，二者指标/近似口径应分别标明。
来源与继续阅读
M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
随机向量检索的教学独立复算；源推导来自Alex Wang