返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

地图要落到同一个真实节点

本页问题

地图切回 7.06M 的 medium ConvNeXt-SwiGLU(epoch_090;7,057,377 参数),并非 GF28 最后一态的 28.6M 模型。本页使用原站 circuit-atlas 的原始网格、原图块与节点数据,保持同一坐标系:8832 个神经元排列于 322×123 网格;这里选择虎鲸路线 c148,背鳍节点 7500 对应 stage3.block1:716,虎鲸节点 8211 对应 stage3.block2:403。地图的空间布局是解释索引,不是网络的物理布线图。

GF29/b0 · 先定位整张图

7.06M medium ConvNeXt-SwiGLU · epoch_090Stage 0Stage 1Stage 2Stage 3类别固定这一块,再放大原 atlas 网格 322×123 · 8832 神经元 · 岛屿组织阅读,邻近不等于直接连线
先定位整张图

现在从刚才的大模型切回七百零六万参数的 medium ConvNeXt-SwiGLU,保存点是 epoch_090。先看整张图。岛屿对应阶段,右边是输出类别。很多相邻单元有相似自然响应,这让我们能用“鸟”“狗”“海洋动物”当导航词。但这些词是地图索引,不能代替具体机制。今天固定右侧 Stage 3 的这块区域,后面每一步都回到它。

进一步解释

全图来自原站 natural-image preview,网格精确宽高 322×123。所选 tile 是 nat/0/26_5.webp,每格 128 像素,覆盖 x208–215、y40–47。图片黑色在原资产中为透明背景,本页按白底显示。

教师备课:指图与模拟问答

指图与推进 · 不朗读从左至右指五个岛,圈 Stage 3 中 x208–215、y40–47 的原始图块;保持圈选位置。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF29/b1 · 放大同一块海洋区域

仍是刚才的同一图块列 x208–215 · 行 y40–47金框:(215,43)stage3.block1:716每格:一个神经元四张自然响应例子下一步打开这一个节点放大同一图块,固定同一节点,再检查它的自然响应。
放大同一块海洋区域

现在把刚才的框放大。我们没有换图:这一块的列是二百零八到二百一十五,行是四十到四十七。右边第四行那个单元是虎鲸背鳍,它旁边的自然例子出现虎鲸、鲨鱼等对象。相邻的视觉主题解释了“海洋区域”为什么方便导航,但单元之间是否传递有效信息,仍要看归因。

进一步解释

(215,43) 是节点 7500,stage3.block1:716;相邻 (214,43) 是节点 8211,stage3.block2:403。该位置由 atlas nodes 元数据定位,而非目测给海洋照片任意起编号。

教师备课:指图与模拟问答

指图与推进 · 不朗读指局部图右侧的金框,再对照列 x208—215、行 y40—47 与金框坐标 (215,43),说明它对应上一态圈出的同一原始图块;保持 stage3.block1:716 的节点身份。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF29/b2 · 打开节点,再看连线

同一背鳍单元 · stage3.block1:716正侧自然响应负侧:巢上白鹳一个正向标签未描述全部行为背鳍 716虎鲸 403killer whale 类别约 33%+5.67同一节点的自然响应;箭头上的归因比例与贡献量针对该图,不是概率。
打开节点,再看连线

展开同一背鳍单元的自然响应。上排出现水面上露出的虎鲸背鳍;其负侧例子则与巢上的白鹳相关,提醒我们一个正向标签没有描述全部行为。原站选择的虎鲸路线里,这个背鳍单元向虎鲸单元贡献约三分之一的输入;虎鲸单元再给类别 logit 贡献五点六七。这里数字是归因量,不是分类概率。

进一步解释

原 node7500 的 pos=[0..5],negc=[8..11];card 选择 [0,1,2,3,5,6],其中作者为卡片省略一幅含水印例子。本页遵守 card slots 显示;负侧示例按源索引 8..11。本态只显示自然响应例子;原 sheet 两端的优化图未在本态展示。边 7500→8211 的原 E=1.88,目标 R=5.674,比例约33%;8211→类别原 E=5.67。这是该归因图条件下的数值。

教师备课:指图与模拟问答

指图与推进 · 不朗读指背鳍正侧自然例子,随后指负侧白鹳;沿编号 716→403→killer whale 的箭头走,区分自然响应例子与箭头上的归因量。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF29/b3 · 地图还要接受干预

虎鲸路线 c148 · 十个关键神经元原始去掉关键 10 个去掉随机 10 个96%8%96%主要作用来自 3 个 Stage 3 单元早期 7 个合计:logit 变化约 0.013;早期信息可能更分散该路线验证样本的类准确率;不是全 ImageNet 总准确率。归因图截断,不等于完整机制。
地图还要接受干预

最后看这条路线的检查:去掉选出的十个单元,虎鲸类准确率从百分之九十六降到八;去掉十个随机单元,仍是九十六。作用主要来自三个 Stage 3 单元。更早的七个单元一起去掉,logit 只变约零点零一三;它们的证据比较分散。因此可以说晚期核心路径强,不能把十个点的连线读成完整因果故事。再拉回整个海洋家族,还能分出鲸、鲨鱼与鳐、被钓者举起的鱼三条路线。它们在 Stage 1 之后不共享这套抽取中的关键神经元,家族是按终点相近分组,不代表走法相同。

进一步解释

原 validation.extra.c148:base logit6.503,整条十节点消融下降3.7758,三个 Stage3下降3.6666,早期七节点下降0.0128,随机匹配早期绝对变化最大0.0079。准确率是此路线验证样本上的类表现;不是全 ImageNet 总准确率。原 cover 显示三个 Stage2节点仅承载该阶段约4.4%的类证据。海洋家族11个类路线,三组晚期关键节点不重叠,不应扩大为所有信息或所有连接互不共享。

教师备课:指图与模拟问答

指图与推进 · 不朗读并排比较关键与随机消融,再指出 3 个晚期/7 个早期;让学生指出地图解释应在哪一步降低信心。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

接下来

能回到图像与干预的地图比标签海报更有用;某条路线早期证据较弱,应在证据变薄处停止强结论。

补充推导、边界与来源

主文 Representing What We Find;同源 circuit-atlas/data/atlas-embed.json 与 atlas.js 的 tourSteps,节点 sheets 和地图 tile。后续图解重用原数据,没有把静态地图局部拼接成不存在的连续路径。

与本页相关的深入阅读

A13|边上的共同模式为什么值得研究

作者分解 25,000 张 ImageNet 归因图,得到原生单元之间反复出现的连接模式,例如茶壶电路。96 个边模式与 96 个激活因子对照时,前者更能预测哪些图像会受对应单元消融影响。这里的抽象仍能返回真实节点和连接,因此适合从局部走向地图;它不是声称每一种矩阵分解都获得完整因果图。

原文 Edge Featurizers · GF29

本页证据与条件

Goodfire, “We found the neural networks were already clean”,全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。

进入主题正文