混合不是只看终点：沿训练看它怎样长出来
本页问题
只看训练终点，很难知道几个响应类别怎样走到一起。真实 checkpoint 保留了同一坐标在训练中途的状态。本页按两行固定单元、三列时刻并排保留证据，观察田野相关响应如何延伸，以及两次训练的后期差异。
RG09/b0 · 早期的共同起点
这里换成两次真实训练中保存的单元：上行是重新训练的InceptionV1末层338号，下行是ConvNeXt末层399号。每一行一直追踪同一个坐标，列是训练时刻。先看零点七epoch：强响应自然例多是油菜花田，其中也有狗。后面会保留这一列，检查它们如何从这个起点发展，而不凭终点名单倒推。
进一步解释
epoch表示训练遍历数据的进度。上、下行来自两次训练中的不同单元，不能把两行当成同一模型切换结构。时间列一旦出现便保留，下一态可以横向对照；照片数量不表示响应份额。
教师备课：指图与模拟问答
指图与推进 · 不朗读先指两行固定模型/单元编号，再指epoch0.7列田野及狗；说明每行横读，未揭列只留时间位置。
本态来源与条件
Goodfire · Cammarata 2026 · #neuron-overflow, #recursive-generalization, #conjoined-features
RG09/b1 · 相邻侧面开始扩展
一点五epoch这一列加入后，零点七那列仍在。横着看同一行，球、果实和狗的响应例开始出现。它们可能通过颜色、环境和局部形状与先前场景相连。图中记录的是这些照片在该时刻的强响应；哪些因素真正驱动变化，还要进一步控制比较。先把观察到的变化和候选解释分开。
进一步解释
一点五epoch列与早期列同时可见。观察是相邻时间的强响应照片出现球、果实和狗；颜色、环境、局部形状是候选连接，而不是已经分别隔离的因果因素。
教师备课：指图与模拟问答
指图与推进 · 不朗读沿每一行从已保留的0.7列读到1.5列，比较新增球、果实、狗；不跨行冒称同一训练。
本态来源与条件
Goodfire · Cammarata 2026 · #neuron-overflow, #recursive-generalization, #conjoined-features
RG09/b2 · 后期的路线分开
现在三列并排。InceptionV1从田野相关例延伸到球、狗和蔬菜，ConvNeXt这一行的后期例仍更多围绕田野。请用同一行的前后照片作比较，而不要按格子数量推响应占比。作者把相邻关系不断长出分枝称为递归泛化；这两条真实轨迹给发展解释加了约束。接着回问：它与前面“能读回多少关联”究竟是同一个问题吗？
进一步解释
末态三列同时显示，InceptionV1末期的场景、球、狗和蔬菜可与早期田野直接对照；ConvNeXt一行仍主要展示田野与其中的狗。完整五时刻原图的灰带才表示各组最强响应例份额，本舞台的均匀照片格不编码份额。
教师备课：指图与模拟问答
指图与推进 · 不朗读在三列同时可见的画面上横向比较前后；指出InceptionV1末期蔬菜与ConvNeXt田野，照片格不编码份额。
本态来源与条件
Goodfire · Cammarata 2026 · #neuron-overflow, #recursive-generalization, #conjoined-features
接下来
先对齐容量与组织两个问题，再把方法带到语言。
补充推导、边界与来源
原图对象为从头训练的 InceptionV1末层单元338、使用相同数据和训练配方并含LayerNorm与残差的ConvNeXt末层单元399。原图包含epoch0.7、1.5、3、6、12；本页课堂先读0.7、1.5、12三个固定状态，完整中间轨迹与图例见下方本地原图。每行图组背后的灰带表示该组占神经元最强响应例的份额；主屏只选真实照片定位观察，不重画没有复算的比例曲线。
InceptionV1最初主要响应油菜花田与山谷，花田里也有狗；随后到球、果实、狗，后来延伸到西兰花。ConvNeXt也短暂触及球和水果，但随后保留田野主线，分枝较少。这是两个实际记录的案例，不是所有单元必然遵循的定律。
补充材料中的iy→diy→do it yourself是原文概念插图的中文重排；这里不声称拥有语言模型的训练checkpoint。文章 Watching Neurons Develop 描述沿重训InceptionV1追踪坐标，作者也记录曾因缩放不当误以为出现任意混合。附录 Relation to Conjoined Features 承认2021年Multimodal Neurons已有从共享侧面向多方向泛化的线索；新命名突出多层分枝与发展过程。本文尚未完成整模型的严格发展审计。
来源：Nick Cammarata（2026），Goodfire，Neural Networks Are Already Clean。 原图／段落 neuron-overflow。 原图／段落 recursive-generalization。 原图／段落 conjoined-features。 图与原始照片保留原作者权利；本课按原图选择固定状态、重排并加中文标注，未重跑原文模型实验。
与本页相关的深入阅读
A16｜训练轨迹怎样帮助检验分枝
重训 InceptionV1 suffix 的图让同一坐标按 checkpoint 并排显示，优化图下方配最强响应处的自然裁剪。它能区分一个成品单元里的邻近反应是怎样逐步出现的；但观察尺度错误仍可能把轨迹看成任意混合。作者临近发布时再次误调显微镜的经历，是提醒我们保留自然例、位置与工具设置，而不是为了一个发展故事挑几张顺眼的图。
原文 Watching Neurons Develop · 完整训练显微镜 · GF09
A24｜递归泛化与 conjoined features 的关系
Multimodal Neurons 已描述从共同侧面向多个方向泛化的 conjoined features。本文承认这一先行观察，并选择“递归泛化”强调分枝还能再分枝、过程发生于生长而不是两个静态概念被接起来。早期只有成品，曾猜是训练早期的残留；后来的视觉轨迹显示分枝还会继续生长。名称变化本身不是新证据，应把发展记录和概念解释分别保留。
原文 Relation to Conjoined Features · GF09
A26｜怎样让“递归泛化”自身也可以失败
一个有约束的递归泛化解释应预测语义空间中的局部来路、分枝方向及训练次序，而不是见到任何两个响应都补一个共同祖先。本文承认没有严谨证明所有重度多义例都如此，也没有大语言模型所需的完整 checkpoint。成品上的路径一致性可以增加信心，但要确证发展因果仍需要时序数据。保留这一限制，才能避免把“任意打包的空隙解释”换成另一个无所不包的故事。
原文 Is Recursive Generalization Hard to Vary? · GF09 · GF24
继续沿这个问题阅读
语言分枝的概念示意：iy → diy → do it yourself；这张图不是语言模型训练的checkpoint。
本页证据与条件
Goodfire · Cammarata 2026 · #neuron-overflow, #recursive-generalization, #conjoined-features