返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

名字很多,是否就必须打包进隐蔽空间?

本页问题

如果专有名词多到数不清,直觉上似乎必须把许多名字挤在一起。原文用 Miyazaki 的通路检查这个直觉:先找它怎样由更通用的片段组成。

GF21/b0 · 先看拼写,不先看人物

Qwen3-32B · 据原图连接重排 · 横向表示层次,不是训练时间L0–L1 · 可复用拼写L2–L3 · 续接模式L4L6–L8末尾 ik / g / q 后ak 片段“aker” 更强ki 结尾含人造字符串iy 片段依赖 token 边界MiyazakiL4/N8476先看共享的局部规律不要先把它们叫“宫崎骏部件”这张成品网络的连接图,没有记录何时学会
先看拼写,不先看人物

左边这些名字看上去很碎:末尾的 i、ak、ki 和 iy。模型还是 Qwen3-32B。它们不是专门只为宫崎骏准备的标签,普通词、其他名字和人造拼写也会触发。把观察尺度放到 token 边界,原来一个完整人名可以包含多个已有的局部规律。先不要急着给每个格子找一个中文名词,我们先读它对什么续接有反应。

教师备课:指图与模拟问答

指图与推进 · 不朗读先读左侧L0–L1四节点和中央Miyazaki定位,不沿线提前讲后续电影。

本态来源与条件

Goodfire · miyazaki-circuit · 原文实验/图数据;据原图重排

GF21/b1 · 从片段到同一名字

Qwen3-32B · 据原图连接重排 · 横向表示层次,不是训练时间L0–L1 · 可复用拼写L2–L3 · 续接模式L4L6–L8末尾 ik / g / q 后ak 片段“aker” 更强ki 结尾含人造字符串iy 片段依赖 token 边界trans|act → z|aki含四种替换检查罗马字续接负侧,正侧另有工作−saki / 崎含 Kawasaki 与人造词6.71MiyazakiL4/N8476原始连接直接汇入 L4不补造唯一串行路径这张成品网络的连接图,没有记录何时学会
从片段到同一名字

现在补上中间 L2 到 L3 的模式,以及它们通向 L4 的连接。一个节点把 trans 后接 act 与 z 后接 aki 联系起来;原文还用交叉替换和人造词检查。另一条围绕 saki 和“崎”的结尾。中央单元在作者试过的英文拼写、汉字与地名用法里都响应。注意这些边是汇入中央单元的关系,我们没有画出“左边四格一定先串行经过第二列”的假路线。

教师备课:指图与模拟问答

指图与推进 · 不朗读依实际连接指向L4,不把两列通用输入误念成层层串行的唯一链;指出6.71为边强度。

本态来源与条件

Goodfire · miyazaki-circuit · 原文实验/图数据;据原图重排

GF21/b2 · 后续使用,还要检查词义

Qwen3-32B · 据原图连接重排 · 横向表示层次,不是训练时间L0–L1 · 可复用拼写L2–L3 · 续接模式L4L6–L8末尾 ik / g / q 后ak 片段“aker” 更强ki 结尾含人造字符串iy 片段依赖 token 边界trans|act → z|aki含四种替换检查罗马字续接负侧,正侧另有工作−saki / 崎含 Kawasaki 与人造词6.71MiyazakiL4/N8476spirited away23.47 · 边强度Nausicaä1.03 · 边强度含不同文字与地名spirited away:非电影用法也响应汉字输入路线尚不完整可追踪的后续关联,仍要接受新例与反例检查
后续使用,还要检查词义

再看右边。Miyazaki 单元通向 spirited away 和 Nausicaä 相关的单元,前者的这条连接明显更强。但别因为名字像电影,就把整个节点写成“千与千寻电影理解”。原文的后续 probe 发现,spirited away 的非电影用法也会激活;汉字输入路线也还没找全。我们得到了一条可以继续检查的组织关系,而不是给全网贴完了唯一正确的标签。

进一步解释

所有边数值是原图记录的连接强度。本课不将其改为概率,也不比较不同模型的边强度优劣。

教师备课:指图与模拟问答

指图与推进 · 不朗读比较两条真实输出边,再指出页面下方两个具体未完成处。

本态来源与条件

Goodfire · miyazaki-circuit · 原文实验/图数据;据原图重排

接下来

在 Qwen 的局部图里,我们能追到拼写、名字和后续联想。接下来换到更大的模型,检查这种追踪能走到哪一步,同时保留“选例”与“全模型审计”的区别。

补充推导、边界与来源

这是一张层间连接图,不是训练时间轴

原文 miy-mini-data 的默认对象为 Qwen3-32B L4/N8476。左侧是 L0—L1 的拼写片段,随后是 L2—L3 的续接模式,中央是 L4 的 Miyazaki 单元,右侧是 L6—L8 的后续关联。横轴按网络层次组织,并没有记录“先学 iy、若干步后学 Miyazaki”的训练 checkpoint。

图中的实际汇入连接有:L1/N15229(k/g/q 后末尾 i,4.4238)、L0/N13886(ak-cluster,3.3186)、L0/N4289(ki 结尾,2.0616)、L1/N20486(iy-bigram,1.8809)、L3/N12478(trans|act → z|aki,6.7058)、L2/N8891(罗马字续接,2.0890)、L3/N15141(−saki/崎结尾,3.1543)。这些都是进出中央单元的连接强度,不是单元激活值;画面只标较容易阅读的一部分数值,原始数据随素材保留。

组合解释具体在哪里成立

较早单元并不只在 Miyazaki 中响应。ki 结尾和 iy 片段也出现在普通词与人造字符串里。L3/N12478 的替换检查覆盖 trans/z 与 act/aki 的四种组合,包括人造词;这使“共同续接模式”比“单纯两个人名拼在一起”更有内容。中央单元在作者试过的不同文字、导演姓名和地名用法中响应。因此原图支持一个由可复用片段组合、再被后续联想使用的路线。

留下具体的不完整性

中央单元的负侧在保存研究中响应 Funny-X 构词,与正侧并非同一语义,不能假装只有一个完美标签。L3/N15141 是已找到的一条汉字“崎”输入,其他汉字路线仍不完整。右侧 L6/N24077 的标签是 spirited away,但后续 probe 不支持稳定区分电影与非电影用法;非电影用法也能响应。L8/N14338 多数强例围绕 Nausicaä,也会补全少量其他拼写。图中一条宽边不是“已经懂得整部电影”的证据。

递归泛化的正确身份

这些响应和连接可以支持“通用局部模式组合起来”的解释,也与递归泛化相容;仅凭这张成品网络图,不能把发展机制当作实际观测到的训练史。原文另有真实 checkpoint 记录,前面 GF09 已将它们与概念分枝分开。保留这种区分,才能让假说继续接受实验检验。

来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,miyazaki-circuit。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。

与本页相关的深入阅读

A10|探针能检测到,模型是否真的使用

Social Security 的三单元探针能识别短语,不代表模型必须用该方向决定后续 token。本文将三个单元解释为词、名字和短语续写的共同响应,再沿真正影响输出的路线找到词汇、表单、退休和输出相关单元,以及 Social Security 与 401(k) 的竞争。图只展示筛查 31 个单元中的 11 个;数值是逐单元删除时目标 log probability 变化的加总,负值表示删除伤害目标,正值表示删除帮助目标。探针的可读性、可预测性和模型实际使用要分开。

原文 Social Security: Detection and Use · GF21

本页证据与条件

Goodfire · miyazaki-circuit · 原文实验/图数据;据原图重排

进入主题正文