返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

从石墙、屋顶,走到修道院响应

本页问题

上一页在最后一层观察两极。现在打开本文 ConvNeXt large(28.6M 参数)晚层之间的连接,以Monastery这一精选电路为例,读懂每个节点和边的含义。

GF15/b0 · 先认清这幅电路地图

ConvNeXt large · 28.6M · Monastery · 多例聚合每节点:1 张优化图 + 4 张自然例;边:平均路由归因先认五列方位,再逐支放大读节点与连接
先认清这幅电路地图

这里是本文 ConvNeXt large,28.6M 参数。从左到右是第十四到第十八个block。每个节点左边是一张优化图,右边四张是该极的自然响应例。小字给出神经元编号和正负侧。整幅图跟上一张跑车路径不同:它聚合了多个例子里的精选连接,不是一张修道院照片在模型里经过的全部路线。先记住五列方位,再局部放大。

教师备课:指图与模拟问答

指图与推进 · 不朗读从block14扫到18,指一个节点的优化图与四自然例,停在全图方向。

本态来源与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

GF15/b1 · 前半上支:拼图与城垛、石墙、钟楼

ConvNeXt large · 28.6M · Monastery · 多例聚合Block 14 · 481拼图与城垛Block 15 · 63石墙Block 16 · 883钟楼+0.102959 · 8/8 同号+0.335768 · 8/8 同号节点原图放大重排;边数值为多例平均路由归因局部只读选定一支;交叉连接仍见全图
前半上支:拼图与城垛、石墙、钟楼

现在只放大上面这一支,三个卡片仍是原图,课堂把它们排成一行。第十四块四百八十一号的负侧是拼图与城垛,第十五块六十三号负侧是石墙,第十六块八百八十三号正侧是钟楼。每个名字都要回到旁边四张自然例检查;左边的小方图是优化图。下面两个数是原图多例平均路由归因,分别为正零点一零三和正零点三三六,两个连接都是八个例子中八个与均值同号。注意,节点在负极,不等于出边就是负归因。

进一步解释

原值:481→63 +0.102959,8/8同号;63→883 +0.335768,8/8同号。为可读性,卡片等比放大并水平重排,连接按原图保留端点与符号,数字未重新估计。

教师备课:指图与模拟问答

指图与推进 · 不朗读先读三组原图和节点正负,再读两条正边;强调这是从完整图选出的上支。

本态来源与条件

Goodfire #ladybug-circuit · Monastery · 本文 ConvNeXt large 28.6M · 原节点与选边重排

GF15/b2 · 前半下支:壁板、屋顶与拱门、城堡

ConvNeXt large · 28.6M · Monastery · 多例聚合Block 14 · 766壁板与窗户Block 15 · 792屋顶与拱门Block 16 · 1446城堡−0.104955 · 8/8 同号−0.099039 · 8/8 同号节点原图放大重排;边数值为多例平均路由归因局部只读选定一支;交叉连接仍见全图
前半下支:壁板、屋顶与拱门、城堡

再看同一张全图的下支。壁板与窗户、屋顶与拱门、城堡是三个不同单元的响应摘要。两条棕色虚线都来自原图,这里的平均归因是负值,而且各自在八个例子中都保持同号。它们不是简单的“看见屋顶就赞成城堡”故事。单元的极、连接的符号、目标单元以及被聚合的输入共同决定这里的读法。全图还包含上下两支之间的交叉边,当前放大只是为了把这两个连接读清楚。

进一步解释

原值:766→792 −0.104955,8/8同号;792→1446 −0.099039,8/8同号。完整图还有792→883 −0.197188、6/8同号的交叉边,说明不是每条负边都同样稳定。

教师备课:指图与模拟问答

指图与推进 · 不朗读读766负极、792正极、1446负极;两条棕色虚线对应原负归因。

本态来源与条件

Goodfire #ladybug-circuit · Monastery · 本文 ConvNeXt large 28.6M · 原节点与选边重排

GF15/b3 · 后半:钟楼怎样接入末层

ConvNeXt large · 28.6M · Monastery · 多例聚合Block 16 · 883钟楼Block 17 · 1316修道院与城堡Block 18 · 1245修道院响应+3.123215 · 8/8 同号+23.535583 · 8/8 同号节点原图放大重排;边数值为多例平均路由归因同一下游可接收不同组件;不是完整单输入归因
后半:钟楼怎样接入末层

现在保留第十六块的钟楼作为接点,继续到第十七块的修道院与城堡,以及第十八块的修道院响应单元。三个卡片都来自原图,只为看清自然例而重新对齐。两条所选连接的平均路由归因分别约为三点一二三和二十三点五三六,都是八个例子中八个同号。后一个数字大,不能当成更高的分类概率;目标和归因尺度都已不同。我们得到的是跨层组织的约束,而不是一个名字就解释完一个单元。

进一步解释

原值883→1316 +3.123215、1316→1245 +23.535583,各8/8同号。同号比例只描述这组选入例子,不代表总体验证保证。

教师备课:指图与模拟问答

指图与推进 · 不朗读由883走到1316再到1245;同时读取原优化图、自然例和均值。

本态来源与条件

Goodfire #ladybug-circuit · Monastery · 本文 ConvNeXt large 28.6M · 原节点与选边重排

GF15/b4 · 另一支也汇入同一下游

ConvNeXt large · 28.6M · Monastery · 多例聚合Block 16 · 1446城堡Block 17 · 1316修道院与城堡Block 18 · 1245修道院响应+1.058888 · 8/8 同号+23.535583 · 8/8 同号节点原图放大重排;边数值为多例平均路由归因同一下游可接收不同组件;不是完整单输入归因
另一支也汇入同一下游

最后把第十六块换成城堡单元。它的负侧也通过正的平均路由归因,接到同一个第十七块单元,再到末层修道院响应。现在把这一态与上一态并读:下游可以接收不同组件的贡献,并不是整张网络里只有一条从石墙走到修道院的单线。我们保留完整图作入口,再逐支读,是为了同时看清局部和边界。这仍然是多例聚合、经过选边的电路;未画的连接存在,不能把它当一张修道院照片的全部因果过程。

进一步解释

原值1446→1316 +1.058888,8/8同号;1316→1245 +23.535583,8/8同号。完整图共8节点、11条选边;四个细读态只选择其中路径,未重新计算或添加实验证据。

教师备课:指图与模拟问答

指图与推进 · 不朗读将1446→1316与上一态883→1316比较,最后回指全图的其余连接。

本态来源与条件

Goodfire #ladybug-circuit · Monastery · 本文 ConvNeXt large 28.6M · 原节点与选边重排

接下来

刚才直接读网络原生单元。若换成SAE字典,会看到新的基本组件,还是已有组件的另一种组合?

补充推导、边界与来源

原图#ladybug-circuit默认Monastery,包含五种主题电路。全部节点链接指向本文 ConvNeXt large(28.6M 参数)的 microscope 页面,故模型身份可确定。此处固定保留Monastery五种视图:全貌;前半上支481→63→883;前半下支766→792→1446;后半钟楼支883→1316→1245;后半城堡支1446→1316→1245。原节点卡片取自原站SVG并等比放大,细读态为可读性水平重排;连接端点、正负与均值来自原图。细读态线宽统一,不再编码强度;完整图保留原始几何与线宽。未重新估计连接。

各节点:block14的481负极“拼图与城垛”、766负极“壁板与窗户”;block15的63负极“石墙”、792正极“屋顶与拱门”;block16的883正极“钟楼”、1446负极“城堡”;block17的1316正极“修道院与城堡”;block18的1245正极“修道院响应”。节点中优化图和自然例是两种材料,不能把优化图误叫训练样本。

边标签给出多个例子的mean routed attribution和同号比例。比如屋顶与拱门→钟楼为−0.197188、6/8同号;钟楼→1316为+3.123215、8/8;1316→1245为+23.535583、8/8。数字因目标与归因尺度不同,不是可跨边直接比较的输出概率。图聚合多例且经过选边,故不宣称单输入完整因果链。

来源:Nick Cammarata,2026,Neural Networks Are Already Clean,Goodfire。ladybug-circuit。原图及研究结果归原作者;本课选取、裁剪或重排固定状态,未重新运行训练或消融实验。

本页证据与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

进入主题正文