返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

神经元在放行什么,又挡住什么?

本页问题

前面已经看到,一张图看起来混杂,可能来自观察方法,也可能来自相邻模式的泛化。现在换一种提问:不要急着给神经元贴一个物体名字,先看它把哪些输入分到一起、又与什么分开。

GF11/b0 · 先把门控当作一个问题

概念示意 · 从物体标签转向计算中的区分共同姿态汽车/狗一个区分汽车通过,狗受抑制车辆相关下游出租车/救护车等其他路线继续处理狗的模式图为解释框架示意;下一态再看真实输入路线
先把门控当作一个问题

先看这个概念图。早先一段路线可能因为姿态,把汽车与狗暂时放在一起;后面要识别具体车辆时,狗就应该被区分出去。这里的门不是多加了一个人工规则,而是作者用来理解神经元作用的比喻。现在先问“让什么通过,抑制什么”,再到真实网络里找对应证据。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿共享姿态→区分→车辆路线指读;明确此态为概念示意。

本态来源与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

GF11/b1 · 跟住同一张跑车

本文 ConvNeXt large · 28.6M 参数 · 18 blocks同一张输入Block 14 · 203同侧:轿车/加长车另一侧:巴士/电车Block 15 · 920同侧:桌子/柜子另一侧:蛇/狗Block 16 · 609同侧:敞篷车/跑车另一侧:小巴路线位置 14 → 15 → 16 → 17 → 18上方是跑车所在的一侧,并不总是正激活
跟住同一张跑车

研究对象现在是本文自训的 ConvNeXt large,28.6M 参数、十八个 block。左边始终是同一张红色跑车。这里截取末五个 block:每一列挑的是在这张输入上,对下一列贡献最大的那个神经元。先看前半段,第十四块把它与轿车、加长车放在一起;到第十五块,同行里出现了桌子和柜子,另一侧是蛇与狗。不同层是在完成不同区分,并不要求每列都叫“汽车”。

进一步解释

原图上方是与所跟踪汽车分在同侧的自然例,下方是另一侧;上方并不总是数值正极。原图选用ImageNet validation image 5826。Block14/203的同侧为负极,Block15/920的同侧为正极,Block16/609的同侧为负极。每列是最大贡献连接的精选,不是整张归因图。

教师备课:指图与模拟问答

指图与推进 · 不朗读依次指输入图及block14、15、16;每列先上后下。

本态来源与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

GF11/b2 · 最后怎样变细

本文 ConvNeXt large · 28.6M 参数 · 18 blocks同一张输入Block 16 · 609同侧:敞篷车/跑车另一侧:小巴Block 17 · 1455同侧:敞篷车另一侧:电视机/厢式车Block 18 · 632同侧:敞篷车(−)另一侧:旅行车(+)路线位置 14 → 15 → 16 → 17 → 18上方是跑车所在的一侧,并不总是正激活
最后怎样变细

继续跟同一张车往后走。第十六块区分敞篷车、跑车与小巴;第十七块更集中到敞篷车,第十八块将敞篷车与旅行车分开。我们看到的是一条具体路径中,组合和区分怎样逐步服务于输出;不能从一条路线就断言每一层、每个输入都严格从粗到细。

进一步解释

本态Block17/1455另一侧所选原自然例包含电视机与厢式车;暂定视觉标签不能排除其中并不属于车辆的强响应。

教师备课:指图与模拟问答

指图与推进 · 不朗读从block16走到18,保留小地图中的五个block位置。

本态来源与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

GF11/b3 · 正负不能直接当作赞成反对

本文 ConvNeXt large · 28.6M 参数 · 18 blocksBlock 18 · 632敞篷车:负极旅行车:正极激活符号 ≠ 连接符号两者都不直接等于输出贡献ReLU 的负侧:看非线性前的加权和不是 ReLU 输出负数用两极和上下游连接一起解释当前区分
正负不能直接当作赞成反对

把最后这列放大。敞篷车落在这个单元的负侧,旅行车在正侧,可它仍出现在支持跑车预测的路线上。原因是激活的符号、连接的符号和最后输出贡献是三个不同对象。对于 ReLU 网络,作者谈负侧时看的是非线性之前的加权和,绝不是说 ReLU 输出负数。理解一个单元,需要把两侧和后续连接一起读。

教师备课:指图与模拟问答

指图与推进 · 不朗读指block18负极敞篷车、正极旅行车,再读下方三个不同对象。

本态来源与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

接下来

同一条路径会形成不同层次的区分。下一步比较不同规模的模型,看这种区分的粒度怎样变化。

补充推导、边界与来源

本文的“神经元像控制流”是一种解释视角:它强调输入怎样被聚合、区分及送往下游,不把模型改写成离散程序。画面中的门控图是本课据原文重新画的概念示意;跑车图使用原站自然例,按原文次序重排。

真实路线的五列为 stage2.block7:203、stage2.block8:920、stage3.block0:609、stage3.block1:1455、stage3.block2:632。图中每列针对同一输入选对下一单元贡献最大的神经元,末列对sports-car输出贡献最大。上/下划分是相对于跑车所在的一侧;block14、16、18的上侧实际为负极。自然例表达单元偏好,红色跑车是被跟踪的单个输入;两者不是同一组样本。

对ReLU层,z=Σwᵢxᵢ+b先合并正负输入,ReLU再将z<0截为0。负侧的输入权重仍会在单元开启、存在梯度时被训练,因此研究者能用负侧帮助识别区分。这个论述与后面SwiGLU乘积的正负机制不同。

来源:Nick Cammarata,2026,Neural Networks Are Already Clean,Goodfire。gate-neuron · car-path-distinctions。原图及研究结果归原作者;本课选取、裁剪或重排固定状态,未重新运行训练或消融实验。

本页证据与条件

Goodfire · 2026 · 原文结果;固定状态据原图重排

进入主题正文