完整深入材料 · 保留原页与全部停点。回到相关主讲
残差流：轨迹图怎样才有解释力？
本页问题
残差流保存各层累计写入的向量。作者担心的并非只是维数少于可命名特征数，而是信息是否以任意纠缠、难以追踪的连续几何形态共同存在。这里看三种不同证据：投影去除干扰坐标、同一图像位置的逐层轨迹、重新训练窄残差网络。它们回答不同问题，不能串成一个“已经证明没有叠加”的结论。
GF26/b0 · 先看弧线
我们先不急着给这条弧起概念名。这是同一层残差向量的二维展示，共四千个位置。原图里，有一个数值特别大的坐标；作者发现，它很少被后续读出，却会通过 LayerNorm 改变其余内容的有效增益。因此，图的弧形可能主要反映这个增益因素。颜色仍然编码这个坐标的原值，它不是动物类别标签。
进一步解释
这组数据来自作者 medium ConvNeXt 的 s2p8，残差宽度 183，dominantChannel/sink 为 112。页面使用原始 JSON 的 raw 坐标和 sinkValue 着色，不重新拟合或添加类别。dominantShare 约 .945 是作者数据字段的该坐标占比，不应口述为所有任务信息的 94.5%。
教师备课：指图与模拟问答
指图与推进 · 不朗读沿弧线指出颜色连续变化，再指“坐标 112”。先问学生是否能仅凭这条弧说网络把动物语义排在弧上。
本态来源与条件
Goodfire 原文、原图及其同源交互数据；本页按原数据重绘与中文讲解。
GF26/b1 · 在图中搁置坐标
现在把那个坐标在作图时搁置，重新看同一批位置。原来的单一弧形不再支配画面，局部结构更容易观察。这里两个坐标系不同，不能拿左图某个点的距离直接减去右图的距离。我们学到的是：解释几何之前，先检查几何是否被一个非语义尺度因素主导。
进一步解释
原始激活并未改写。raw 与 removed 使用数据中各自二维坐标并各自缩放到显示区域；同一条样本索引与原 sinkValue 颜色一致。页面不是网络消融实验。
教师备课：指图与模拟问答
指图与推进 · 不朗读切换到 removed 视图；强调“相同样本、不同投影”，用手势区别网络计算与分析者作图。
本态来源与条件
Goodfire 原文、原图及其同源交互数据；本页按原数据重绘与中文讲解。
GF26/b2 · 终点选出的动物脸
接下来跟踪同一个图像位置经过多层的变化。左边几张局部颜色不一样，右边能看出不同动物的脸。几条代表轨迹慢慢靠近，很诱人。但这组位置是作者在最后一个 stage 的中途，从动物脸簇里选出的。因此，末端会聚在一起有一部分是选样规定的；真正值得解释的是，它们早期按颜色分散，以及中间怎样逐渐换邻居。
进一步解释
同一图像位置逐层对应；在下采样后取包含该点的空间单元。各层搁置异常大坐标并中心化，不同 stage 的空间用拟合旋转对齐，再共同 UMAP。邻居限制为其他图像位置，避免同一位置跨层自动成为近邻。高亮 7 条由作者手选便于展示，淡线是原抽样组；本页保留原数据并按原两遍 1-2-1 方法平滑，使用折线连接。最终 block 输出因按图像或类别成团而未列入这套数据。
教师备课：指图与模拟问答
指图与推进 · 不朗读先指两端真实 patch，再沿一条线走。停在终点，说清后期选样；随后回指起点。
本态来源与条件
Goodfire 原文、原图及其同源交互数据；本页按原数据重绘与中文讲解。
GF26/b3 · 起点选出的红色
反过来，从第一层的红色区域选一组位置。它们起点相近同样有选样原因，后期分开才是要看的变化。红色可以属于鸟、蘑菇、花、桌布。这不能单独说明网络把“红”删掉了；它显示这些位置在后续计算中建立了不同的邻近关系。作者另外检查原始残差空间的近邻：动物脸的邻居逐渐更多是脸，红色邻居的比例则下降。这比只看二维图更强，但仍然是观察证据。
进一步解释
红组按首层选，动物脸组按后期选；两组选择方向必须同时说明。原空间近邻检查提供独立于二维画面布局的支持。此图不能比较单条路径长度，也不能把沿线速度当训练或计算耗时。
教师备课：指图与模拟问答
指图与推进 · 不朗读从同一红色起点沿两条分叉走到不同照片；让学生先预测哪一端是选样条件，再揭示答案。
本态来源与条件
Goodfire 原文、原图及其同源交互数据；本页按原数据重绘与中文讲解。
GF26/b4 · 压窄以后仍有什么
作者还重新训练了残差更窄的版本，神经元数量保持不变。压窄四倍和八倍后，准确率从百分之七十二降到六十和三十九；最窄版本末块只有四十六维。地图更嘈杂，泄漏常发生在相关对象之间，例如水里的深色鸟会牵连鳄鱼或游泳的狗。这支持“有限空间仍能组织相关内容”的研究方向，同时性能确实受损。它没有排除所有任意干扰，更没有给语言模型残差流颁发通行证。
进一步解释
4×、8×分别指残差宽度缩减，不能说整个模型参数量缩成四分之一或八分之一；MLP 神经元数不减。作者描述地图与错误类型属于实验观察，不是穷尽所有反例的证明。
教师备课：指图与模拟问答
指图与推进 · 不朗读指固定神经元数量和变化的残差宽度，再逐个读准确率。最后把三类证据放回“观察／分析变换／重训实验”的位置。
本态来源与条件
Goodfire 原文、原图及其同源交互数据；本页按原数据重绘与中文讲解。
接下来
这些结果支持在所研究视觉模型里寻找结构化、局部可追踪的组织方式；二维图不能证明不存在任意干扰，压缩后仍能分类也不能单独解释信息如何编码。
补充推导、边界与来源
主文 The Residual Stream；残差坐标交互图 medium-s2p8；跨层联合轨迹图 rs-jt；附录中对 Features and Superposition 的概念边界。语言残差流研究少于视觉，作者“尚未遇到瓶颈”不是全空间已解释。
与本页相关的深入阅读
A05｜去掉投影中的坐标，是否就是改变模型
不是。附录用同一批 4,000 个图像位置，对比把坐标 112 保留或移出投影的两张图，再用该坐标原值着色；记录的网络激活没有改变。一个大坐标可能通过 LayerNorm 调节其余坐标的尺度，主导几何图的外观。投影调整帮助看见结构，但若要声称该坐标对任务有什么因果功能，还要另做模型干预。附录的 readout lenses 也只是定位计算变化的观察工具，置信度与出现时点会随 lens 改变。
标准 LayerNorm 的形式能帮助理解为什么一个坐标会影响其余坐标：
$$ \mu=\frac1d\sum_{i=1}^{d}h_i,\qquad \sigma_h^2=\frac1d\sum_{i=1}^{d}(h_i-\mu)^2,\qquad \operatorname{LN}(h)_i=\gamma_i\frac{h_i-\mu}{\sqrt{\sigma_h^2+\epsilon}}+\beta_i. $$
某个大坐标改变均值和尺度，因而即便下游很少直接读它，仍可能间接调节其余分量。公式只解释这种机制为什么可能；原文特定坐标的实际作用还依赖该模型的测量。把它从绘图输入拿走，不会自动改变模型计算中的均值、方差或答案。
本页证据与条件
Goodfire, “We found the neural networks were already clean”，全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。