本页学习说明
本文的“神经元像控制流”是一种解释视角：它强调输入怎样被聚合、区分及送往下游，不把模型改写成离散程序。画面中的门控图是本课据原文重新画的概念示意；跑车图使用原站自然例，按原文次序重排。
真实路线的五列为 stage2.block7:203、stage2.block8:920、stage3.block0:609、stage3.block1:1455、stage3.block2:632。图中每列针对同一输入选对下一单元贡献最大的神经元，末列对sports-car输出贡献最大。上／下划分是相对于跑车所在的一侧；block14、16、18的上侧实际为负极。自然例表达单元偏好，红色跑车是被跟踪的单个输入；两者不是同一组样本。
对ReLU层，z=Σwᵢxᵢ+b先合并正负输入，ReLU再将z<0截为0。负侧的输入权重仍会在单元开启、存在梯度时被训练，因此研究者能用负侧帮助识别区分。这个论述与后面SwiGLU乘积的正负机制不同。
来源：Nick Cammarata，2026，Neural Networks Are Already Clean，Goodfire。gate-neuron · car-path-distinctions。原图及研究结果归原作者；本课选取、裁剪或重排固定状态，未重新运行训练或消融实验。
阅读完整讲义