返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

规模变了,区分的粒度也变了吗?

本页问题

刚才看的是大模型里的一条路线。现在改看最后一层的两极,再和本文最小模型比较;注意这是不同训练模型的比较,不是同一个模型逐步放大的录像。

GF12/b0 · 大模型:先看出租车这一对

本文 ConvNeXt large · 28.6M · 最后一层自然例出租车(正侧)救护车(负侧)只看正侧:它像“出租车”加上负侧:它在区分什么?同一单元的两个极
大模型:先看出租车这一对

这组仍是本文的 ConvNeXt large,28.6M 参数。上排是同一单元的强正响应,出租车;下排是它的强负响应,救护车。只看上排,我们会给它叫“出租车”;把下排补上,才知道它在相近车辆之间做了什么区分。照片来自作者的自然图像检索,正负值不是正确率。

教师备课:指图与模拟问答

指图与推进 · 不朗读先遮住其他类别的心理预期,只读出租车/救护车这一个单元。

本态来源与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

GF12/b1 · 再看两个独立例子

本文 ConvNeXt large · 28.6M · 最后一层自然例出租车(正侧)救护车(负侧)西兰花(正侧)花椰菜(负侧)琵鹭(正侧)火烈鸟(负侧)
再看两个独立例子

同样方法再看两组:西兰花对花椰菜,琵鹭对火烈鸟。我们不是把所有正极汇总成一个神经元,而是在并排比较三个不同神经元。它们的负侧常常是视觉上相近、在这里需要继续区分的对象。这支持“读两侧比只起一个名词更有信息”,还不能保证每个单元都如此整齐。

教师备课:指图与模拟问答

指图与推进 · 不朗读每列独立读正负,不跨列连接。

本态来源与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

GF12/b2 · 小模型:在较粗的区分处停下

本文 ConvNeXt small · 92k · 最后一层同一单元正侧负侧水中的牛车也在此侧这组对照中,较小模型停在较粗的区分
小模型:在较粗的区分处停下

现在研究对象变为本文的 ConvNeXt small,只有九万两千参数。这一个末层单元的正侧包含卡车、电车和客车;负侧包含船、飞机,甚至水中的牛车。相对于刚才的出租车和救护车,它的区分更粗。作者把它理解成空间受限时的宽泛概括。这里最重要的条件是:这是自训的三种配置,不是直接拿标准库里同名型号作比较。

教师备课:指图与模拟问答

指图与推进 · 不朗读明确切换模型标识;读四张正例和三张负例,水中牛车单独指认。

本态来源与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

接下来

跨规模比较还混合了很多条件。接下来主动改小一个指定层,观察网络在明确的瓶颈下学成什么样。

补充推导、边界与来源

本文三种自训ConvNeXt为small 92k、medium 7.06M、large 28.6M参数,约跨300倍规模。small / medium / large是本文模型身份,应保留参数量,不能自动套用其他公开ConvNeXt标准配置。

本页展示large最后一层的三组原站自然图:taxis、broccoli、spoonbills,并展示small最后一层的vehicles单元。原文还保留巨嘴鸟/犀鸟、灯塔/水塔、椒盐卷饼/贝果、狼/狗、猫/猞猁、手套/袜子等两极;这些同类例子可在来源原图继续查看。这里选三组是为了让学生读完每一对,不把九组缩成无法辨认的缩略图。

小模型负侧的oxcart自然图确实位于水面;它提醒我们“地面交通/水空交通”仍是视觉归纳标签,需要在具体反例上继续检验,不能把标签当人工制定的分类规则。

来源:Nick Cammarata,2026,Neural Networks Are Already Clean,Goodfire。negative-poles · tiny-vehicles-positive。原图及研究结果归原作者;本课选取、裁剪或重排固定状态,未重新运行训练或消融实验。

本页证据与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

进入主题正文