把一层从 480 个通道压到 10 个，会怎样？

这里切回 InceptionV1。作者把 mixed3b 从四百八十个通道改为十个，再从头训练；原架构没有残差流可以绕开这一层。不要把它想成从一个已经训练好的模型里突然砍掉四百七十个单元。我们先提出两种不同预期：如果细模式被任意打包，可能看到难以拆分的混合；如果网络作更粗的泛化，可能看到较宽的响应。然后才看自然图。

现在每行对应压缩后一个单元，每行五张是作者五万张训练图像扫描中该单元最强的自然局部。先看前五行：暗圆、红、黄、斜边、竖边。照片所属物体相差很大，但局部颜色和边缘有可辨认的共同点。这里的短名是作者给出的暂定视觉描述，不是训练时提供给单元的标签。

继续看后五行：眼与脸、曲线与环、圆、高频纹理、多彩标记。原先一些方向不同的弯曲检测器，现在集中成更宽的“曲线与环”。照片能支持这个粗观察，但如果我们要问细方向是否仍藏在组合里，就不能只凭肉眼下结论；下一页要用特定的寻找办法检查。

这些十个单元的图看起来仍有可解释结构，但网络并没有免费保存原模型的全部能力。原文报告这个从头训练模型在五万张 ImageNet 验证图上的 top-1 为百分之五十八点三五，top-5 为百分之八十一点一四。图与任务成绩合起来说明：瓶颈下仍能工作，并出现较粗的可解释模式；它不等于无损压缩，更不是第一节容量推导被推翻。