Transformer 搭起来了,能力还需要怎样解释?
本页问题
已经看懂 Transformer 的信息流之后,还需要解释训练后的能力从哪里来。本讲从读回、证据与执行三个问题继续。
OV01/b0 · 信息怎样留下来,怎样用出来?
Transformer 的结构规定信息经过哪些计算:当前输入经 attention 读取与 MLP 变换,形成输出;训练参数是这些运算持续使用的对象。知道信息流,并不等于已经解释了训练后的全部能力。本讲接着追问:信息如何被承载并读回,哪些观察足以支持“学到了什么”的判断,以及计算、存储和搬运如何限制实际执行。
进一步解释
图中只保留上一讲可识别的信息流,不是完整 Transformer 堆栈,也不把整个模型简化成一层 attention 和一层 MLP。输入示例来自 Lecture05;输出位置用于说明计算方向,不代表现场运行结果。三问是本讲选择的观察视角,不穷尽能力形成的全部原理。
教师备课:指图与模拟问答
指图与推进 · 不朗读先指熟悉句子,再沿 attention/MLP 到输出;单独指参数入口,避免把参数误当成当前句子。最后逐一指三个问题,随后推进到术语定位。
本态来源与条件
Lecture05 熟悉句子的课程回访;图为计算关系示意,不是模型实测。
接下来
先分清训练时改变的参数,与使用时改变的当前上下文。
补充推导、边界与来源
再想一步
可以沿三问检查一个新模型:先指认它用到的信息,再说明支持能力判断的证据,最后列出执行所需对象。三个答案可以来自不同实验,不能用一张结构图同时代替。
从本页继续阅读
- 从训练目标到参数更新:用同一份 A/B 记录完整追踪输入、目标、损失与更新。
- 参数与当前上下文:区分长期参数和本次输入形成的读取状态。
本页证据与条件
Lecture05 熟悉句子的课程回访;图为计算关系示意,不是模型实测。