返回课堂

误差更新参数,训练后的表示再转用

本页问题

MAE预训练时,encoder处理可见patch,decoder结合其表示与mask占位预测像素;被遮位置的预测与原图目标形成loss,经反向传播更新参数。分类迁移保留encoder、移除重建decoder、接上分类头。完整图像全部patch进入模型,类别标签提供新的微调目标,之后由独立验证图片评价。可迁移的是训练后的参数与表示,并非那一张重建图或凭空出现的类别知识。

VR04/b0 · 从可见块到被遮位置的预测

重建预训练:目标来自原图可见patch方法示意:75%遮挡大 encoder形成可见位置表示小 decoder表示 + mask token预测被遮位置像素占位,不提供真实像素原图提供目标
从可见块到被遮位置的预测

打开补图路径:大encoder只处理可见块,形成表示;表示与被遮位置的mask占位一起进入小decoder,产生像素预测。占位不是被遮的真实像素。原图走另一条目标支路,用来检查预测。

进一步解释

MAE此处的encoder/decoder表示重建职责,不是翻译模型自回归逐词输出的同义替代。encoder只处理可见patch,decoder接表示与mask占位;目标支路独立提供原图像素。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿可见块→大encoder→表示加mask token→小decoder→预测;另指原图目标支路。

VR04/b1 · 被遮位置的误差,回到训练参数

重建预训练:目标来自原图可见patch方法示意:75%遮挡大 encoder形成可见位置表示小 decoder表示 + mask token预测被遮位置像素占位,不提供真实像素原图提供目标重建 loss只计被遮位置反向传播更新encoder与decoder参数
被遮位置的误差,回到训练参数

对齐同一被遮位置的预测与目标,差异形成重建loss,再通过反向传播更新encoder和decoder参数。样本、目标、损失、更新现在连起来了。自监督指材料自身提供目标,并非没有监督信号;请看更新箭头确实回到了参数。

进一步解释

方法结构示意采用常见75%遮挡,与前页真实展示约80%分开。MAE decoder预测像素,不是翻译逐词生成的decoder。

教师备课:指图与模拟问答

指图与推进 · 不朗读指被遮位置loss,再沿回传箭头到encoder/decoder参数;不把可见位置计入本例loss。

VR04/b2 · 保留同一个encoder,换成分类使用

分类迁移:保留encoder,移除重建decoder完整图像全部patch同一 encoder保留预训练参数新分类头预测类别分类预测类别概率类别标签来自目标任务训练集分类 loss预测与标签比较微调参数微调完成 → 用独立验证图片评价分类准确率
保留同一个encoder,换成分类使用

转到分类时,保留的是重建训练过的encoder参数,重建decoder被移除。完整图像的全部patch经过encoder,输出表示交给新接的分类头。类别答案从哪里来?来自目标任务的带标签训练图片;分类预测与类别目标形成损失,微调分类头和encoder。完成后再用独立验证图片统计准确率。于是补图不是直接变成分类答案,而是先提供有用的表示起点,再由新任务的监督把它用于分类。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿完整图像→同一encoder→新分类头,再指类别目标→分类loss→微调参数;最后区分独立验证图片与训练支路。

接下来

同一个模型加入这种预训练后,独立分类成绩改变了多少?

补充推导、边界与来源

MAE预训练的大encoder处理可见子集,小decoder结合mask token重建;下游保留encoder,输入全图,去除重建decoder,再微调和评测。两条路径在相同encoder处接续。

与本页直接相关的完整材料

条件、推导与来源

N17 · 训练时补图,之后拿走的是哪一部分?

MAE 的大 encoder 仅处理可见图像块。编码表示与 mask token 一起交给较小的重建 decoder,生成像素预测。下游分类保留 encoder,去掉重建 decoder,输入完整图像的全部 patch,添加分类头,进行带标签微调与独立评测。本结构图采用方法常见的 75% 遮挡说明,不将上页示例的 80% 混进方法配置。重建 decoder 与上一讲翻译 decoder 的接口不同。

来源:MAE v3,物理 p.1 Figure 1 与 §3。

相关的完整阅读材料保留原有公式、引用和原始图解。

本页证据与条件

MAE v3方法与分类迁移流程示意

进入主题正文