完整深入材料 · 保留原页与全部停点。回到相关主讲
模型更大,共享的姿态一定会被拆开吗?
本页问题
由同一模型的工具对照,转到不同模型的观察比较;这里没有控制所有架构与训练条件。
GF06/b0 · 先看较大 DINOv2 的例子
这一页换了模型。第一行来自 DINOv2,原图标注其规模约为 InceptionV1 的十二倍。请先看脸和车朝向镜头的方式,而不是只读狗和汽车这两个名词。模型大了很多,但作者仍然找到同一个单元跨类别共享姿态的例子。因此“只是因为空间太小才勉强混在一起”还不是充分解释。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿第一行狗/车辆交替自然照片,看相近朝向。
本态来源与条件
Goodfire · Cammarata 2026 · #pose-everywhere
GF06/b1 · 再看本文自训 ConvNeXt
现在加入作者自训的 large 和 medium 两行。它们约为 InceptionV1 的四倍和一倍,仍有狗脸与车头按朝向相连的例子。这些不是同一张图在三个模型上的配对测试,而是各模型所选单元的强响应例。我们得到的是跨模型观察支持,不把它包装成只改变参数量的一次实验。
教师备课:指图与模拟问答
指图与推进 · 不朗读逐行读模型身份和规模标签,再看每行内部的共同点。
本态来源与条件
Goodfire · Cammarata 2026 · #pose-everywhere
GF06/b2 · 最小模型的共享更粗
最下面的 small 只有约九万二千参数,原图约为 InceptionV1 的七十五分之一。它也把狗和车放在一起,但姿态已经不那么一致。更细的空间可能支持更细区分;同时,有用的共享并不会必然消失。于是下一步要拆开另一个因素:我们究竟是模型变了,还是观察工具变好了?
教师备课:指图与模拟问答
指图与推进 · 不朗读显示最小行,对比一整只狗与车辆的粗粒度例子。
本态来源与条件
Goodfire · Cammarata 2026 · #pose-everywhere
接下来
规模不是唯一变量。先单独看观察工具能改变多少。
补充推导、边界与来源
原图每一行都是作者选取的同类姿态响应示例。DINOv2 约为 InceptionV1 的12倍;作者自训 ConvNeXt large 约4倍,medium约1倍,small约1/75。这里沿用本文命名,不能自动等同公开标准 ConvNeXt系列的同名配置。文中实际参数为92k、7.06M、28.6M。
较大模型通常能形成更细的区分,但图中狗与车辆共享朝向仍然存在;最小配置的狗车混合则更粗,没有同样清楚的姿态对齐。这与“只要空间够大,狗车必然分开”的强说法不符,却不是一个隔离全部训练因素的受控规模实验,不能推出所有神经元随规模单调变清楚。照片属于不同模型的各自示例,不能逐列当作同一输入的配对测量。
来源:Nick Cammarata(2026),Goodfire,Neural Networks Are Already Clean。 原图/段落 pose-everywhere。 图与原始照片保留原作者权利;本课按原图选择固定状态、重排并加中文标注,未重跑原文模型实验。
本页证据与条件
Goodfire · Cammarata 2026 · #pose-everywhere