完整深入材料 · 保留原页与全部停点。回到相关主讲
机制说得通以后,去视觉实验中看结果
本页问题
增加模型与材料是否改善任务表现,需要真实训练和评测来回答。
AM18/b0 · 把解释放回架构
现在再看Transformer的框图,里面的两个主要部件不再只是名称。MLP可以从训练参数中的关联来理解,attention可以从当前条目的读取来理解;它们都在变换表示,协同影响后续计算。这个解释是一个观察角度,不是对每层功能的穷尽说明。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿Transformer中attention与MLP回指本节解释。
AM18/b1 · 引入视觉输入
如果把图像转成一串patch表示,同一类结构也可以处理视觉输入。但“能接进去”与“训练后效果好”仍然是两件事。我们要看的是:在什么数据规模、什么训练条件和什么评测任务下,它表现出怎样的变化?
进一步解释
本页五个表示框只表示序列接口,不表示真实切分数;下一页N11用4×4共16块展开教学示意。
教师备课:指图与模拟问答
指图与推进 · 不朗读指校车图像→patch序列→结构的入口,详细切分留到N11。
AM18/b2 · 明确后续顺序
所以下一节先读视觉实验里的证据;看到扩张的收益和条件之后,再讨论更大的模型、更长的序列给硬件带来什么压力。后面讲训练时,我们还会回到这里:结构提供可能性,训练与资源把其中一些可能性变成实际能力。
教师备课:指图与模拟问答
指图与推进 · 不朗读指下一节实际训练与评测的问题,再按视觉证据→硬件→训练顺序收束。
接下来
先把这张图像变成一串可计算的向量,再去读视觉训练的实验结果。
本页证据与条件
课程问题组织与机制解释