返回课堂

同一张照片,改变进入模型的方式

本页问题

图像无需先翻译成文字才能进入Transformer。照片切成patch,每块像素展平并经过可训练线性投影,再加入与原图位置对应的位置表示。所有patch使用同一投影规则,随后形成encoder接收的向量序列。课堂4×4网格只用于追踪裁片;ViT-B/16中的16是16×16像素patch边长,224×224图片通常有196块。

VR01/b0 · 原图与patch一一对应

同一张校车照片1122334455667788991010111112121313141415151616图像块序列(对应左侧编号)4×4 教学网格不是实际模型块数
原图与patch一一对应

同一张校车照片,切块、编号,再按顺序排成序列。四乘四的十六块是教学网格,不是实验真实块数,也不是十六个词。沿一个编号,从右侧裁片找回原图位置。

进一步解释

patch意为图像块,encoder意为编码器。4×4是这张图上的教学网格,真实ViT /16为16×16像素patch;两种数字的职责不同。

教师备课:指图与模拟问答

指图与推进 · 不朗读指原图格子与右侧同编号真实裁片,确认行列对应。

VR01/b1 · 打开第7块的接口

同一张校车照片1122334455667788991010111112121313141415151616图像块序列(对应左侧编号)第 7 块展平线性投影可训练加位置表示保留原图位置4×4 教学网格不是实际模型块数真实 /16:16×16 像素patch;224图像通常196块
打开第7块的接口

打开第七块。像素展平为向量,经过可训练线性投影,再加位置表示,就成为模型输入。其他块使用同一投影规则。真实ViT的/16指十六乘十六像素块,二百二十四图像通常有一百九十六块。

进一步解释

真实/16指16×16像素patch;224×224图像通常有196块。此校车照片来自MAE Figure2,用于接口教学,不冒称ViT原实验输入。

教师备课:指图与模拟问答

指图与推进 · 不朗读从原图第7块的框选到裁片,再沿展平→投影→位置表示。

VR01/b2 · 接得进去以后,还要看训练效果

同一张校车照片1122334455667788991010111112121313141415151616图像块序列(对应左侧编号)第 7 块展平线性投影可训练加位置表示保留原图位置全部向量 → Transformer encoder → 分类4×4 教学网格不是实际模型块数真实 /16:16×16 像素patch;224图像通常196块
接得进去以后,还要看训练效果

全部向量交给encoder,经过attention与MLP,接上分类输出。接口已经接通,训练效果还要看实验:更大的ViT,在同一个分类任务上就一定更好吗?

教师备课:指图与模拟问答

指图与推进 · 不朗读指全部向量进入encoder,停在分类输出,再引到下一图。

接下来

更大的ViT,在同一个分类任务上就一定更好吗?

补充推导、边界与来源

4×4是教学网格;真正的patch规格与原论文配置分开。照片来源、编号与裁片一一对应。

与本页直接相关的完整材料

条件、推导与来源

N11 · 把一张图变成一串可以计算的向量

图像分成 patch,每块像素展平后进行可训练线性投影并加位置表示。画面 4×4、16 个块仅是序列化教学示意。真实 ViT-B/16 的 /16 指 16×16 像素块;224×224 图像对应 14×14=196 块。图像取 MAE Figure 2 校车原图作为连续对象,不冒称为 ViT 论文中的原始示例。

来源:ViT v2,§3.1;校车来自MAE v3,Figure 2。

相关的完整阅读材料保留原有公式、引用和原始图解。

本页证据与条件

MAE校车原图上的patch接口教学示意

进入主题正文