返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

模型更大,共享的姿态一定会被拆开吗?

本页问题

由同一模型的工具对照,转到不同模型的观察比较;这里没有控制所有架构与训练条件。

GF06/b0 · 先看较大 DINOv2 的例子

原文各模型选例 · 每行内部看姿态,不作逐列配对实验DINOv212× InceptionV1原文图像原文图像原文图像原文图像原文图像原文图像原文图像原文图像更大的网络,仍保留跨类别的姿态共享更多空间 ≠ 必然拆开所有共享共享可能是有用的泛化,不只是空间不够
先看较大 DINOv2 的例子

这一页换了模型。第一行来自 DINOv2,原图标注其规模约为 InceptionV1 的十二倍。请先看脸和车朝向镜头的方式,而不是只读狗和汽车这两个名词。模型大了很多,但作者仍然找到同一个单元跨类别共享姿态的例子。因此“只是因为空间太小才勉强混在一起”还不是充分解释。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿第一行狗/车辆交替自然照片,看相近朝向。

本态来源与条件

Goodfire · Cammarata 2026 · #pose-everywhere

GF06/b1 · 再看本文自训 ConvNeXt

原文各模型选例 · 每行内部看姿态,不作逐列配对实验DINOv212× InceptionV1原文图像原文图像原文图像原文图像原文图像原文图像原文图像原文图像ConvNeXt large4× · 本文自训原文图像原文图像原文图像原文图像原文图像原文图像原文图像原文图像ConvNeXt medium1× · 本文自训原文图像原文图像原文图像原文图像原文图像原文图像原文图像原文图像共享可能是有用的泛化,不只是空间不够
再看本文自训 ConvNeXt

现在加入作者自训的 large 和 medium 两行。它们约为 InceptionV1 的四倍和一倍,仍有狗脸与车头按朝向相连的例子。这些不是同一张图在三个模型上的配对测试,而是各模型所选单元的强响应例。我们得到的是跨模型观察支持,不把它包装成只改变参数量的一次实验。

教师备课:指图与模拟问答

指图与推进 · 不朗读逐行读模型身份和规模标签,再看每行内部的共同点。

本态来源与条件

Goodfire · Cammarata 2026 · #pose-everywhere

GF06/b2 · 最小模型的共享更粗

原文各模型选例 · 每行内部看姿态,不作逐列配对实验DINOv212× InceptionV1原文图像原文图像原文图像原文图像原文图像原文图像原文图像原文图像ConvNeXt large4× · 本文自训原文图像原文图像原文图像原文图像原文图像原文图像原文图像原文图像ConvNeXt medium1× · 本文自训原文图像原文图像原文图像原文图像原文图像原文图像原文图像原文图像ConvNeXt small1/75× · 本文自训原文图像原文图像原文图像原文图像原文图像原文图像原文图像原文图像small 的狗车混合更粗,姿态未同样对齐
最小模型的共享更粗

最下面的 small 只有约九万二千参数,原图约为 InceptionV1 的七十五分之一。它也把狗和车放在一起,但姿态已经不那么一致。更细的空间可能支持更细区分;同时,有用的共享并不会必然消失。于是下一步要拆开另一个因素:我们究竟是模型变了,还是观察工具变好了?

教师备课:指图与模拟问答

指图与推进 · 不朗读显示最小行,对比一整只狗与车辆的粗粒度例子。

本态来源与条件

Goodfire · Cammarata 2026 · #pose-everywhere

接下来

规模不是唯一变量。先单独看观察工具能改变多少。

补充推导、边界与来源

原图每一行都是作者选取的同类姿态响应示例。DINOv2 约为 InceptionV1 的12倍;作者自训 ConvNeXt large 约4倍,medium约1倍,small约1/75。这里沿用本文命名,不能自动等同公开标准 ConvNeXt系列的同名配置。文中实际参数为92k、7.06M、28.6M。

较大模型通常能形成更细的区分,但图中狗与车辆共享朝向仍然存在;最小配置的狗车混合则更粗,没有同样清楚的姿态对齐。这与“只要空间够大,狗车必然分开”的强说法不符,却不是一个隔离全部训练因素的受控规模实验,不能推出所有神经元随规模单调变清楚。照片属于不同模型的各自示例,不能逐列当作同一输入的配对测量。

来源:Nick Cammarata(2026),Goodfire,Neural Networks Are Already Clean。 原图/段落 pose-everywhere。 图与原始照片保留原作者权利;本课按原图选择固定状态、重排并加中文标注,未重跑原文模型实验。

本页证据与条件

Goodfire · Cammarata 2026 · #pose-everywhere

进入主题正文