返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

机制说得通以后,去视觉实验中看结果

本页问题

增加模型与材料是否改善任务表现,需要真实训练和评测来回答。

AM18/b0 · 把解释放回架构

Transformer block(简化定位)输入表示一串向量attention读取当前条目MLP参数中的关联下一层继续变换
把解释放回架构

现在再看Transformer的框图,里面的两个主要部件不再只是名称。MLP可以从训练参数中的关联来理解,attention可以从当前条目的读取来理解;它们都在变换表示,协同影响后续计算。这个解释是一个观察角度,不是对每层功能的穷尽说明。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿Transformer中attention与MLP回指本节解释。

AM18/b1 · 引入视觉输入

Transformer block(简化定位)输入表示一串向量attention读取当前条目MLP参数中的关联下一层继续变换图像patch 表示序列(示意)12345下一页拆开这一步能接入结构训练后效果怎样?
引入视觉输入

如果把图像转成一串patch表示,同一类结构也可以处理视觉输入。但“能接进去”与“训练后效果好”仍然是两件事。我们要看的是:在什么数据规模、什么训练条件和什么评测任务下,它表现出怎样的变化?

进一步解释

本页五个表示框只表示序列接口,不表示真实切分数;下一页N11用4×4共16块展开教学示意。

教师备课:指图与模拟问答

指图与推进 · 不朗读指校车图像→patch序列→结构的入口,详细切分留到N11。

AM18/b2 · 明确后续顺序

Transformer block(简化定位)输入表示一串向量attention读取当前条目MLP参数中的关联下一层继续变换图像patch 表示序列(示意)12345下一页拆开这一步能接入结构训练后效果怎样?先看视觉实验的规模收益与条件,再看硬件压力
明确后续顺序

所以下一节先读视觉实验里的证据;看到扩张的收益和条件之后,再讨论更大的模型、更长的序列给硬件带来什么压力。后面讲训练时,我们还会回到这里:结构提供可能性,训练与资源把其中一些可能性变成实际能力。

教师备课:指图与模拟问答

指图与推进 · 不朗读指下一节实际训练与评测的问题,再按视觉证据→硬件→训练顺序收束。

接下来

先把这张图像变成一串可计算的向量,再去读视觉训练的实验结果。

补充推导、边界与来源

增加模型与材料是否改善任务表现,需要真实训练和评测来回答。

来源与继续阅读

Alex Wang:对应原文小节。

X01 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

课程问题组织与机制解释

进入主题正文