返回课堂

谁给这么多图像出训练题?

X03/b0 · 遮挡后的输入

MAE Figure 2 校车输入:80% 图像块被遮挡
遮挡输入只见 39 / 196 个 patch

谁来为被遮掉的部分提供答案?

He 等 · MAE Figure 2 · ImageNet 验证图 · 本展示遮挡 80%;原始重建未贴回可见图块,未作美化。

遮挡后的输入

训练材料多起来以后,下一个问题是:谁来为这些材料出题?我们看一张被遮掉大部分的图片。这里是 MAE 论文中的真实展示,遮挡百分之八十,只剩一百九十六块中的三十九块。现在模型看到的只有这些局部,任务是恢复其余部分。这个比例是本图的展示条件,不要和方法中常见的百分之七十五混在一起。

教师备课:指图与模拟问答

指图与推进 · 不朗读只指左图可见块,明确遮挡条件。

X03/b1 · 揭示模型重建

MAE Figure 2 校车输入:80% 图像块被遮挡
遮挡输入只见 39 / 196 个 patch
→
MAE Figure 2 校车重建:模糊和误差保持原论文输出
MAE 重建根据可见部分预测

模型给出重建;车身细节仍然有误差。

He 等 · MAE Figure 2 · ImageNet 验证图 · 本展示遮挡 80%;原始重建未贴回可见图块,未作美化。

揭示模型重建

中间是论文里的模型重建。我们已经能看到一辆校车的整体形态,但窗户、文字和局部细节并不准确。这里不是画得漂亮才算成功;我们要看的是,模型根据有限局部作出了可比较的预测。课件没有补画输出,也没有把可见原图贴回去。

教师备课:指图与模拟问答

指图与推进 · 不朗读显出中图;指车身轮廓与模糊细节。

X03/b2 · 原图提供目标

MAE Figure 2 校车输入:80% 图像块被遮挡
遮挡输入只见 39 / 196 个 patch
→
MAE Figure 2 校车重建:模糊和误差保持原论文输出
MAE 重建根据可见部分预测
↔
MAE Figure 2 校车原始目标图像
原始图像图片自己提供目标

原图就是监督目标,不必逐张撰写问答。

He 等 · MAE Figure 2 · ImageNet 验证图 · 本展示遮挡 80%;原始重建未贴回可见图块,未作美化。

原图提供目标

现在把原图也拿出来。答案原本就藏在这张图里,遮掉之前我们就有完整像素,因此可以在被遮位置比较预测与原图,形成训练误差。大量原始图像由此变成可持续产生的学习任务。模型是否学到可迁移的表示,不能只凭这辆车像不像来判断;我们接着看同一图片池中的分类评测。

教师备课:指图与模拟问答

指图与推进 · 不朗读显出原图;把输出误差与原图目标相连,再转下页。

补充推导、边界与来源

前一页让我们看到扩展训练条件的价值。接下来要问:如果训练材料很多,是否必须由人逐张写出问答,才能形成学习任务?MAE 提供了一个可直接观察的例子。

这组三联来自 He 等 MAE 论文 Figure 2 的校车样例。左图是被遮挡的输入,中图是论文报告的模型重建,右图是原始图像。图注明确说明这个展示的遮挡比例为 80%,196 个 patch 中只保留 39 个可见;它与方法说明中常举的 75% 训练比例不是同一个陈述。

教师先让学生看输入,再揭示重建,最后给原图比较。原图本来就在材料中,所以被遮掉位置的像素可以直接形成目标。论文在被遮挡部分计算重建损失。可见块的输出仍可能不好,作者没有把可见原图块重新覆盖到重建图上;本课保留这一原始输出,包括模糊和错误。

MAE 的大编码器只处理可见 patch,较轻的解码器加入 mask token 后预测缺失内容。这使任务组织与执行成本发生联系,但重建图片看起来合理,并不自动证明下游分类、可靠常识或所有视觉任务已经解决。下一页转到独立的分类成绩比较。

MAE Figure 2 校车三联原图

MAE 固定 v3 原文,Figure 2,物理第2页。图像为论文内嵌像素的原样提取,不是课堂训练结果。

本页证据与条件

He 等 · MAE 2111.06377v3 Figure 2(p2);论文输出;80% 遮挡,39/196 可见

进入主题正文