本页学习说明
图像无需先翻译成文字才能进入Transformer。照片切成patch,每块像素展平并经过可训练线性投影,再加入与原图位置对应的位置表示。所有patch使用同一投影规则,随后形成encoder接收的向量序列。课堂4×4网格只用于追踪裁片;ViT-B/16中的16是16×16像素patch边长,224×224图片通常有196块。
4×4是教学网格;真正的patch规格与原论文配置分开。照片来源、编号与裁片一一对应。
与本页直接相关的完整材料
条件、推导与来源
N11 · 把一张图变成一串可以计算的向量
图像分成 patch,每块像素展平后进行可训练线性投影并加位置表示。画面 4×4、16 个块仅是序列化教学示意。真实 ViT-B/16 的 /16 指 16×16 像素块;224×224 图像对应 14×14=196 块。图像取 MAE Figure 2 校车原图作为连续对象,不冒称为 ViT 论文中的原始示例。
来源:ViT v2,§3.1;校车来自MAE v3,Figure 2。
相关的完整阅读材料保留原有公式、引用和原始图解。
阅读完整讲义