本页学习说明
这是一张层间连接图，不是训练时间轴
原文 miy-mini-data 的默认对象为 Qwen3-32B L4/N8476。左侧是 L0—L1 的拼写片段，随后是 L2—L3 的续接模式，中央是 L4 的 Miyazaki 单元，右侧是 L6—L8 的后续关联。横轴按网络层次组织，并没有记录“先学 iy、若干步后学 Miyazaki”的训练 checkpoint。
图中的实际汇入连接有：L1/N15229（k/g/q 后末尾 i，4.4238）、L0/N13886（ak-cluster，3.3186）、L0/N4289（ki 结尾，2.0616）、L1/N20486（iy-bigram，1.8809）、L3/N12478（trans|act → z|aki，6.7058）、L2/N8891（罗马字续接，2.0890）、L3/N15141（−saki／崎结尾，3.1543）。这些都是进出中央单元的连接强度，不是单元激活值；画面只标较容易阅读的一部分数值，原始数据随素材保留。
组合解释具体在哪里成立
较早单元并不只在 Miyazaki 中响应。ki 结尾和 iy 片段也出现在普通词与人造字符串里。L3/N12478 的替换检查覆盖 trans/z 与 act/aki 的四种组合，包括人造词；这使“共同续接模式”比“单纯两个人名拼在一起”更有内容。中央单元在作者试过的不同文字、导演姓名和地名用法中响应。因此原图支持一个由可复用片段组合、再被后续联想使用的路线。
留下具体的不完整性
中央单元的负侧在保存研究中响应 Funny-X 构词，与正侧并非同一语义，不能假装只有一个完美标签。L3/N15141 是已找到的一条汉字“崎”输入，其他汉字路线仍不完整。右侧 L6/N24077 的标签是 spirited away，但后续 probe 不支持稳定区分电影与非电影用法；非电影用法也能响应。L8/N14338 多数强例围绕 Nausicaä，也会补全少量其他拼写。图中一条宽边不是“已经懂得整部电影”的证据。
递归泛化的正确身份
这些响应和连接可以支持“通用局部模式组合起来”的解释，也与递归泛化相容；仅凭这张成品网络图，不能把发展机制当作实际观测到的训练史。原文另有真实 checkpoint 记录，前面 GF09 已将它们与概念分枝分开。保留这种区分，才能让假说继续接受实验检验。
来源：Nick Cammarata（与 Curt Tigges 合作语言部分），2026，Neural Networks Are Already Clean，Goodfire，miyazaki-circuit。本课呈现原文结果及据原图数据重排的选定状态；没有重新运行模型实验。原作者权利保留。
与本页相关的深入阅读
A10｜探针能检测到，模型是否真的使用
Social Security 的三单元探针能识别短语，不代表模型必须用该方向决定后续 token。本文将三个单元解释为词、名字和短语续写的共同响应，再沿真正影响输出的路线找到词汇、表单、退休和输出相关单元，以及 Social Security 与 401(k) 的竞争。图只展示筛查 31 个单元中的 11 个；数值是逐单元删除时目标 log probability 变化的加总，负值表示删除伤害目标，正值表示删除帮助目标。探针的可读性、可预测性和模型实际使用要分开。
原文 Social Security: Detection and Use · GF21
阅读完整讲义