返回课堂

一个解释,能否接住两侧与两端?

本页问题

一个候选解释如果只覆盖几个正例,仍然容易过宽。这里增加两类约束:同一单元的相反响应是否呈现相反结构;上下游连接是否与这个区分的形成和使用相符。自然例与优化图各自承担不同证据职责。

RG04/b0 · 同一单元的两侧

InceptionV1 · 4e:55 · 响应两侧与精选连接响应正侧较尖猫汽车台球桌新干线响应负侧较圆狗蜗牛高尔夫球钟
同一单元的两侧

上排是刚看到的尖形正侧,下排是原文记录的相反侧:圆脸、蜗牛壳、球与钟。它们不共享一个物体名,却有较圆的结构,连狗也能出现在相反一侧。这给“尖与圆的区分”增加了一条约束。这里的正负是原文所研究信号的方向,不是正确与错误,也不是说 ReLU 输出了负数。

进一步解释

正负侧是原文所研究响应信号的两端;本页不把负侧当作分类错误,也不声称ReLU后输出为负。尖与圆比物体名称更能同时概括两排选例。

教师备课:指图与模拟问答

指图与推进 · 不朗读先读“原文记录的响应正侧/负侧”,再从两排局部比较尖与圆;避免用喜欢/讨厌作解释。

本态来源与条件

Goodfire · Cammarata 2026 · #v-figure

RG04/b1 · 沿上游找构成

InceptionV1 · 4e:55 · 响应两侧与精选连接4d:493 · 尖嘴4d:477 · 尖耳脸4d:201 · 车辆前部4e:55尖形侧优化图不同上游共同构成一个区分每组左图:自然例每组右图:优化图自然例 → 优化图
沿上游找构成

沿左边看,尖嘴、尖耳脸和车辆前部这些路线汇向同一个 4e:55。每组的自然例与优化图并排放着:前者是输入上的实际响应例,后者是帮助观察的可视化。共享区分不只在两张照片上说得通,它与上游构成也能对上。线宽只在各侧按原文口径读取。

进一步解释

上游三组分别显示自然例与优化图:自然例是输入上的响应,优化图受目标和先验影响。线宽在输入侧由原图drive比例决定,不能和下一态读出侧去除后的下降量直接比较。

教师备课:指图与模拟问答

指图与推进 · 不朗读从左侧三个真实节点沿箭头读到4e:55;逐组区分左侧自然例和右侧优化图,不跨两侧比较线宽。

本态来源与条件

Goodfire · Cammarata 2026 · #v-figure

RG04/b2 · 沿下游找用途

InceptionV1 · 4e:55 · 响应两侧与精选连接4d:493 · 尖嘴4d:477 · 尖耳脸4d:201 · 车辆前部4e:55尖形侧优化图5a:94 · 火焰/水柱/狐脸5a:352 · 尖脸5a:317 · 长嘴/V形杯自然例 → 优化图优化图 → 自然例
沿下游找用途

再向右走,火焰、尖脸、长嘴与 V 形杯等路线会使用这个区分。连接表明这个区分会被后续计算使用。现在,同一个解释要同时接住自然例、相反响应和上下游关系。我们因而有理由认真对待它,也清楚它目前解释的是这个单元和这些选定连接。有些共同点能从成品看出来;另一些单元到了终点已经响应好几类对象。它们怎样走到一起?这一次看真实保存下来的训练过程。

进一步解释

读出侧呈现4e:55如何被若干下游路线使用。图中只保留原文精选连接,连接与自然例相符支持共享解释,但没有穷尽所有路径。下一页更换训练对象,追踪的是发展过程。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿中心到右侧读出节点,指火焰/尖脸/长嘴与V形杯;回顾前态已见的正负侧,然后直接转到训练checkpoint。

本态来源与条件

Goodfire · Cammarata 2026 · #v-figure

接下来

离开成品的标签列表,观察真实训练过程。

补充推导、边界与来源

原文同时展示 4e:55 的正、负侧。正侧的尖形与负侧的圆形是相对同一单元、原文所测响应量的两端,不是在宣称 ReLU 后输出为负。本课遵从原文“pushes it negative”的说法;理解时必须区分非线性前信号与经过整流后的输出。

上游节点为 4d:493(尖嘴)、4d:477(尖耳脸)、4d:201(车辆前部);下游为 5a:94(火焰、消防船水柱与狐脸)、5a:352(尖脸)、5a:317(长嘴与 V 形杯)。本课保留这些节点与方向,线宽在每一侧按原图元数据相对缩放。输入侧 data-w 为 0.321/0.031/0.029;读出侧为 38.3/34.1/22.1,原图提示分别是 drive 比例与去掉 4e:55 后下降量,口径不同,不跨两侧比较粗细,也不当作完整网络全部边。

优化图负责提出候选,自然例说明其实际响应,上下游关系检查这个区分如何被构建与使用。几类证据相互制约,是支持作者解释的理由;不是仅凭箭头存在就宣称全网机制已经证明。同一原图的自然照片、局部定位与精选连接按问题顺序展开,完整证据与原图来源仍可继续核对。

来源:Nick Cammarata(2026),Goodfire,Neural Networks Are Already Clean。 原图/段落 v-figure。 图与原始照片保留原作者权利;本课按原图选择固定状态、重排并加中文标注,未重跑原文模型实验。

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

本页证据与条件

Goodfire · Cammarata 2026 · #v-figure

进入主题正文