返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

混合不是只看终点:沿训练看它怎样长出来

本页问题

采用原文两个重新训练网络中的具体单元,按真实 checkpoint 读自然响应例;最后才给概念示意。

GF09/b0 · 早期:先看到共同起点

真实训练 checkpoint · 原图精选自然响应例epoch 0.7InceptionV1末层 · 单元338原文图像原文图像原文图像ConvNeXt末层 · 单元399原文图像原文图像原文图像共同起点:田野与其中的邻近事物完整五个 checkpoint 与灰带口径保留在本页说明
早期:先看到共同起点

现在显示的 epoch 真正记录的是训练进度,而不是刚才的工具年份。先停在零点七个epoch:上面是重新训练的InceptionV1末层338号单元,下面是ConvNeXt末层399号单元。两者都从油菜花田一类自然图开始。上面的花田里还有一只狗。我们暂时只记住这个局部关联,不用终点标签倒推开始时它必须在学什么。

教师备课:指图与模拟问答

指图与推进 · 不朗读读epoch0.7与两个具体单元;指花田中的狗。

本态来源与条件

Goodfire · Cammarata 2026 · #neuron-overflow, #recursive-generalization, #conjoined-features

GF09/b1 · 中途:相邻侧面出现分枝

真实训练 checkpoint · 原图精选自然响应例epoch 1.5InceptionV1末层 · 单元338原文图像原文图像原文图像原文图像ConvNeXt末层 · 单元399原文图像原文图像原文图像球、果实和狗,沿相邻侧面出现完整五个 checkpoint 与灰带口径保留在本页说明
中途:相邻侧面出现分枝

推进到一点五个epoch。原图的强响应例里,开始出现球、绿色果实和草地中的狗。它们与前面的颜色、环境、局部形状存在可追踪的相邻关系。这是作者提出递归泛化的依据:不是先列一批互不相干的概念再塞进单元,而是已有响应沿某些侧面扩展。现在还不能只凭几张图把所有因果都定下来。

教师备课:指图与模拟问答

指图与推进 · 不朗读逐列比较田野、球、果实、狗;说明是原图选取的强响应例。

本态来源与条件

Goodfire · Cammarata 2026 · #neuron-overflow, #recursive-generalization, #conjoined-features

GF09/b2 · 后期:两个网络走向不同

真实训练 checkpoint · 原图精选自然响应例epoch 12InceptionV1末层 · 单元338原文图像原文图像原文图像原文图像ConvNeXt末层 · 单元399原文图像原文图像原文图像原文图像一条继续扩散,一条更多保留田野主线完整五个 checkpoint 与灰带口径保留在本页说明
后期:两个网络走向不同

到十二个epoch,InceptionV1的例子明显扩散到球、狗与西兰花,原来田野所占的部分变少;ConvNeXt则更多回到田野主线,只保留与花田相连的少数狗例。两条轨迹不能证明所有网络都一样,但确实说明只看终点的杂乱名单会丢掉发展关系。完整图里的三和六epoch也保留在本页说明,可以继续逐列检查。

教师备课:指图与模拟问答

指图与推进 · 不朗读对照两行终点,指出主屏仅为原图样本,份额见完整灰带图。

本态来源与条件

Goodfire · Cammarata 2026 · #neuron-overflow, #recursive-generalization, #conjoined-features

GF09/b3 · 语言中的分枝先作为概念图

概念示意 · 不是语言模型训练 checkpointiyMiyazakidiydo ityourself先沿字母片段已不含 iy局部关系可相连,终点不必共享同一表面形式
语言中的分枝先作为概念图

最后换到一张明确的概念示意。一个响应iy片段的单元,可以与diy相连,再沿diy的含义关联到do it yourself;最后这个短语已经不含iy。局部每一步都可能可理解,终点却不再共享同一串字母。这个示意帮助我们理解作者所说的分枝,不是本课展示了语言模型的训练录像。后面会回到具体文本和电路去检查这种关系。

教师备课:指图与模拟问答

指图与推进 · 不朗读先读“概念示意”,再沿两条分枝;不使用epoch标签。

本态来源与条件

Goodfire · Cammarata 2026 · #neuron-overflow, #recursive-generalization, #conjoined-features

接下来

分枝与任意打包提出不同问题,下一页把争论的对象说清。

补充推导、边界与来源

原图对象为从头训练的 InceptionV1末层单元338、使用相同数据和训练配方并含LayerNorm与残差的ConvNeXt末层单元399。原图包含epoch0.7、1.5、3、6、12;本页课堂先读0.7、1.5、12三个固定状态,完整中间轨迹与图例见下方本地原图。每行图组背后的灰带表示该组占神经元最强响应例的份额;主屏只选真实照片定位观察,不重画没有复算的比例曲线。

InceptionV1最初主要响应油菜花田与山谷,花田里也有狗;随后到球、果实、狗,后来延伸到西兰花。ConvNeXt也短暂触及球和水果,但随后保留田野主线,分枝较少。这是两个实际记录的案例,不是所有单元必然遵循的定律。

原文两个单元完整checkpoint图,英文标签

最后一态的iy→diy→do it yourself是原文概念插图的中文重排;这里不声称拥有语言模型的训练checkpoint。文章 Watching Neurons Develop 描述沿重训InceptionV1追踪坐标,作者也记录曾因缩放不当误以为出现任意混合。附录 Relation to Conjoined Features 承认2021年Multimodal Neurons已有从共享侧面向多方向泛化的线索;新命名突出多层分枝与发展过程。本文尚未完成整模型的严格发展审计。

来源:Nick Cammarata(2026),Goodfire,Neural Networks Are Already Clean。 原图/段落 neuron-overflow。 原图/段落 recursive-generalization。 原图/段落 conjoined-features。 图与原始照片保留原作者权利;本课按原图选择固定状态、重排并加中文标注,未重跑原文模型实验。

与本页相关的深入阅读

A16|训练轨迹怎样帮助检验分枝

重训 InceptionV1 suffix 的图让同一坐标按 checkpoint 并排显示,优化图下方配最强响应处的自然裁剪。它能区分一个成品单元里的邻近反应是怎样逐步出现的;但观察尺度错误仍可能把轨迹看成任意混合。作者临近发布时再次误调显微镜的经历,是提醒我们保留自然例、位置与工具设置,而不是为了一个发展故事挑几张顺眼的图。

原文 Watching Neurons Develop · 完整训练显微镜 · GF09

A24|递归泛化与 conjoined features 的关系

Multimodal Neurons 已描述从共同侧面向多个方向泛化的 conjoined features。本文承认这一先行观察,并选择“递归泛化”强调分枝还能再分枝、过程发生于生长而不是两个静态概念被接起来。早期只有成品,曾猜是训练早期的残留;后来的视觉轨迹显示分枝还会继续生长。名称变化本身不是新证据,应把发展记录和概念解释分别保留。

原文 Relation to Conjoined Features · GF09

A26|怎样让“递归泛化”自身也可以失败

一个有约束的递归泛化解释应预测语义空间中的局部来路、分枝方向及训练次序,而不是见到任何两个响应都补一个共同祖先。本文承认没有严谨证明所有重度多义例都如此,也没有大语言模型所需的完整 checkpoint。成品上的路径一致性可以增加信心,但要确证发展因果仍需要时序数据。保留这一限制,才能避免把“任意打包的空隙解释”换成另一个无所不包的故事。

原文 Is Recursive Generalization Hard to Vary? · GF09 · GF24

本页证据与条件

Goodfire · Cammarata 2026 · #neuron-overflow, #recursive-generalization, #conjoined-features

进入主题正文