把一张图变成一串可以计算的向量

上一页的接口问题还没有解决。眼前仍是同一张校车照片，它是二维像素阵列；接下来只改变它进入模型的表示方式，照片内容本身不换。

先把它切成一块块小图片，给每一块编号。屏幕为了看清只画十六块；真实配置里，块的尺寸和数量由模型设定决定。图像没有在这一步变成十六个词，只是变成十六份可以分别处理的输入。

打开其中一块。把像素排成向量，再用一个可训练的线性投影变成模型需要的维度，加上位置表示，就可以和其他块一起排成序列。位置告诉模型这些块原来在哪里，attention 让不同块之间交换信息，MLP 对每个位置的表示继续变换。

熟悉的结构于是可以接收图像。请把“接得上”和“效果好”分开。我们已经解决接口问题，但还没有证明这种做法比卷积更合适。卷积用同一组小窗口在图上移动，先处理邻近像素；这种重视局部结构的设计，在较少训练材料的条件下可能非常有效。接下来看的实验，就让同类任务上的训练结果回答这个问题。先不急着在图里找最高的点，先弄清一个点究竟代表什么。