把结构上的可能性，交给真实训练检验

正在载入课堂画面…

本页学习说明

手工关联例建立了结构怎样承载与读取信息的可能性，不能单独证明真实训练会形成何种能力。attention与MLP都处理当前表示、使用训练参数；它们在完整网络中共同作用。接下来的视觉证据分两步回答新问题：照片怎样成为结构可接收的输入，以及实际训练后的表示能否在独立任务上取得收益。

attention与MLP的计算结构可以承担读取与关联，但结构上的可能性还不能证明真实训练已经形成了所需能力。前面的手工例子中，key和value由我们指定；真实模型要从数据和训练目标中形成表示，再用独立任务评测检验。接下来先看图像如何进入模型，以及不同训练条件下的实际表现。

机制分析完成后，回到开场的另一条线：训练实际形成了什么能力？

对线性层y=Wx，一步梯度下降是ΔW=−η(∂L/∂y)xᵀ，形式上也是外积更新。它说明梯度可以怎样改变输入与输出方向的关联；−η∂L/∂y是误差信号，不是原始事实value，不能说每一步梯度把一条完整知识原样存入。整网的非线性、表示变化和优化历史还需另论。

M04 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。

增加模型与材料是否改善任务表现，需要真实训练和评测来回答。

X01 原阅读材料。旧阅读材料保留自身的算例与记号；不要将旧三条目行向量例与本节两条目列向量例混算。