本页学习说明
MAE重建示例由同一原始校车图产生输入和目标:模型收到39/196个可见patch,根据它们预测被遮位置的像素。预测保留黄色车身、两层轮廓和窗户大致位置,但车窗边界和车头文字与原图有差异。目标像素来自遮挡前的原图,可以给误差定量计分。这个示例约80%遮挡,与常用75%训练设置分开;重建相似不等于下游分类已经有效。
三图均来自MAE v3 Figure2校车行,固定身份与尺寸。真实重建不作美化;输入限制、预测、目标与后续独立评价分开。
与本页直接相关的完整材料
条件、推导与来源
N15 · 只看这些碎片,模型要补回什么?
本页左图是 MAE v3 Figure 2 校车行的真实遮挡输入,196 个 patch 中可见 39 个,约 80% 被遮住。观众之前见过全图,不代表模型该轮得到全图。遮挡人为构造了输入限制,原始图片同时提供预测目标;这里的 mask 是构造重建训练题,不是因果 attention mask。
来源:MAE v3,物理 p.2 Figure 2 校车行。
相关的完整阅读材料保留原有公式、引用和原始图解。
N16 · 重建可以不完美,监督却可以很明确
三张图片固定为论文遮挡输入、论文重建、原始图像。重建图保留原始误差,不贴回可见区域,也不进行生成式美化。训练时只对被遮位置计算像素重建损失;原论文还讨论 patch 像素归一化等实现条件。重建是否像原图与预训练表征是否能迁移分类,是需要分别评价的两个问题。
来源:MAE v3,Figure 2 与 §3。
相关的完整阅读材料保留原有公式、引用和原始图解。
阅读完整讲义