本页学习说明
匹配线索Kx、逐项非线性σ、组合内容Vᵀσ(Kx)，构成两层MLP的计算形式。将K和Vᵀ分别称为W₁和W₂，运算本身不变。在手工构造中，中间宽度H=M，每条候选占一个响应；真实模型的方向由训练共同形成，不必逐行对应人类事实。随机检索曲线说明非线性可改变干扰积累，显式K/V的存储也随M增长。
保留显式构造H=M这一条件。容量曲线不能直接解释固定宽度MLP能记住多少现实事实。
与本页直接相关的完整材料
条件、推导与来源
AM10 · 比较线索、调节响应、汇总内容：认出MLP
匹配、非线性与汇总的操作已建立，现在辨认其网络形式。
Geva等在其研究模型中将FFN的key响应与文本模式、value与输出分布联系起来，并分析多个记忆贡献的组合。本页只采用这一受实验支持的解释，不把全部知识归属到MLP，不把每个hidden unit等同于一条事实。偏置、残差、归一化和门控结构另在材料中展开。
来源与继续阅读
Alex Wang：对应原文小节。
M04 原阅读材料 · P05 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
AM11 · 改变响应函数，容量曲线为什么会移动？
从单个弱匹配的降低，走向大量随机候选的整体干扰。
对球面均匀单位key，s=kᵀx，精确查询目标得分为1。E[ReLU(s)^(2p)]=(2p−1)!!/[2d_k(d_k+2)…(d_k+2p−2)]，因此RMS干扰比为这一矩乘M−1再开方。大维度近似给出平方和立方的不同常数，不能只写d_k^p后把它当精确计数。独立复算在d_k=64时，平方ReLU的RMS阈值约2817；blog中常用近似约2700，二者指标/近似口径应分别标明。
来源与继续阅读
Alex Wang：对应原文小节。
M03 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
阅读完整讲义