返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

规模变大:同一耳朵家族怎样细化?

本页问题

原图比较作者自训练的三个 ConvNeXt 配置:0.092M、7.06M、28.6M 参数。它们不是公开标准 ConvNeXt 名称,也不是同一个模型连续长大的三个训练时刻。图内小照片是作者用于解释概念的插图;连线为选定神经元间强归因关系。

GF28/b0 · 小模型的宽泛区分

0.092M 参数一般狗浅色、蓬松深色、蓬乱尚未建立独立耳朵家族没有找到 ≠ 没有信息原图:选定神经元与强归因连线;图像为作者解释性插图 · 三个独立训练配置,非同一训练轨迹
小模型的宽泛区分

先只看左上角。九万两千参数的模型里,作者能找到一般狗、浅色蓬松狗、深色蓬乱狗等较宽泛区分,但截至这次研究,还没有建立一个孤立的耳朵家族。措辞要准确:没有在这次搜索里建立,不是数学上证明小模型绝对没有耳朵信息。

进一步解释

0.092M 是自训练配置的总参数量。图不是每个单元的最高激活自然图拼图,而是原作者的解释性插图。

教师备课:指图与模拟问答

指图与推进 · 不朗读放大原图 Small;比较三张示意图,指“No isolated ear family established so far”。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF28/b1 · 中模型出现连接

7.06M 参数头侧 → 长卷耳 → 耳颈毛光滑耳片 → 耳片与脸比较组合关系原图:选定神经元与强归因连线;图像为作者解释性插图 · 三个独立训练配置,非同一训练轨迹
中模型出现连接

再看七百零六万参数。耳朵与头侧的线索可通向长卷耳,也可与颈部、毛发组合;另一路从光滑耳片到耳片与脸。我们比较的已经不是“狗”这个字出现几次,而是相近信号怎样被下游重新组合。原图只选强归因连线,未画出全部连接。

进一步解释

原图中 Medium 的节点与箭头来自选定单元,插图帮助辨认概念,不作为独立激活统计。与 Small 比较也包含训练与配置差异,不能只归因于参数量单一因素。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿 Ear/head side 分出的两条箭头,再沿 Smooth flaps 路线;提醒学生预测共同输入的两种后续用法。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF28/b2 · 大模型的细分与重用

28.6M参数更细分支共享垂耳继续重用搜索入口:hangingears原图:选定神经元与强归因连线;图像为作者解释性插图 · 三个独立训练配置,非同一训练轨迹
大模型的细分与重用

最后看两千八百六十万参数。猎犬头侧、光滑下垂耳片、浅色耳冠、波浪耳这些线索形成更细的组合,其中“垂耳”可继续供给雪达犬头侧等下游单元。作者用 hanging ears 作为搜索种子能在较大模型里找到这一家族。它是有用的入口,不是所有模型必须拥有的唯一耳朵通道。

进一步解释

Small 到 Large 约 300 倍参数。独立训练的终态对比不能回答分支在训练第几步形成;附录提出的发育研究需要跨 checkpoint 的对应与干预。

教师备课:指图与模拟问答

指图与推进 · 不朗读按大图三条上游支路汇入 Hanging ears,再到 Setter ears/head side。结束时回看前两态,把“更细组合”与“更多标签”分开。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

接下来

在这个耳朵家族中,较大模型表现出更细的分支与层级重用。这是具体可核对的规模例子,不是所有概念都会按同样规律分裂的定理。

补充推导、边界与来源

主文 Scaling;原图 figure-page-17。附录 Watching Development 问训练过程如何产生分支,需要 checkpoints 和跨时刻对应,不能仅凭三个终态模型回答。

本页证据与条件

Goodfire, “We found the neural networks were already clean”,全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。

进入主题正文