完整深入材料 · 保留原页与全部停点。回到相关主讲
规模变大:同一耳朵家族怎样细化?
本页问题
原图比较作者自训练的三个 ConvNeXt 配置:0.092M、7.06M、28.6M 参数。它们不是公开标准 ConvNeXt 名称,也不是同一个模型连续长大的三个训练时刻。图内小照片是作者用于解释概念的插图;连线为选定神经元间强归因关系。
GF28/b0 · 小模型的宽泛区分
先只看左上角。九万两千参数的模型里,作者能找到一般狗、浅色蓬松狗、深色蓬乱狗等较宽泛区分,但截至这次研究,还没有建立一个孤立的耳朵家族。措辞要准确:没有在这次搜索里建立,不是数学上证明小模型绝对没有耳朵信息。
进一步解释
0.092M 是自训练配置的总参数量。图不是每个单元的最高激活自然图拼图,而是原作者的解释性插图。
教师备课:指图与模拟问答
指图与推进 · 不朗读放大原图 Small;比较三张示意图,指“No isolated ear family established so far”。
本态来源与条件
Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。
GF28/b1 · 中模型出现连接
再看七百零六万参数。耳朵与头侧的线索可通向长卷耳,也可与颈部、毛发组合;另一路从光滑耳片到耳片与脸。我们比较的已经不是“狗”这个字出现几次,而是相近信号怎样被下游重新组合。原图只选强归因连线,未画出全部连接。
进一步解释
原图中 Medium 的节点与箭头来自选定单元,插图帮助辨认概念,不作为独立激活统计。与 Small 比较也包含训练与配置差异,不能只归因于参数量单一因素。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿 Ear/head side 分出的两条箭头,再沿 Smooth flaps 路线;提醒学生预测共同输入的两种后续用法。
本态来源与条件
Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。
GF28/b2 · 大模型的细分与重用
最后看两千八百六十万参数。猎犬头侧、光滑下垂耳片、浅色耳冠、波浪耳这些线索形成更细的组合,其中“垂耳”可继续供给雪达犬头侧等下游单元。作者用 hanging ears 作为搜索种子能在较大模型里找到这一家族。它是有用的入口,不是所有模型必须拥有的唯一耳朵通道。
进一步解释
Small 到 Large 约 300 倍参数。独立训练的终态对比不能回答分支在训练第几步形成;附录提出的发育研究需要跨 checkpoint 的对应与干预。
教师备课:指图与模拟问答
指图与推进 · 不朗读按大图三条上游支路汇入 Hanging ears,再到 Setter ears/head side。结束时回看前两态,把“更细组合”与“更多标签”分开。
本态来源与条件
Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。
接下来
在这个耳朵家族中,较大模型表现出更细的分支与层级重用。这是具体可核对的规模例子,不是所有概念都会按同样规律分裂的定理。
补充推导、边界与来源
主文 Scaling;原图 figure-page-17。附录 Watching Development 问训练过程如何产生分支,需要 checkpoints 和跨时刻对应,不能仅凭三个终态模型回答。
本页证据与条件
Goodfire, “We found the neural networks were already clean”,全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。