本页学习说明
主文 The Residual Stream；残差坐标交互图 medium-s2p8；跨层联合轨迹图 rs-jt；附录中对 Features and Superposition 的概念边界。语言残差流研究少于视觉，作者“尚未遇到瓶颈”不是全空间已解释。
与本页相关的深入阅读
A05｜去掉投影中的坐标，是否就是改变模型
不是。附录用同一批 4,000 个图像位置，对比把坐标 112 保留或移出投影的两张图，再用该坐标原值着色；记录的网络激活没有改变。一个大坐标可能通过 LayerNorm 调节其余坐标的尺度，主导几何图的外观。投影调整帮助看见结构，但若要声称该坐标对任务有什么因果功能，还要另做模型干预。附录的 readout lenses 也只是定位计算变化的观察工具，置信度与出现时点会随 lens 改变。
标准 LayerNorm 的形式能帮助理解为什么一个坐标会影响其余坐标：
$$
\mu=\frac1d\sum_{i=1}^{d}h_i,\qquad
\sigma_h^2=\frac1d\sum_{i=1}^{d}(h_i-\mu)^2,\qquad
\operatorname{LN}(h)_i=\gamma_i\frac{h_i-\mu}{\sqrt{\sigma_h^2+\epsilon}}+\beta_i.
$$
某个大坐标改变均值和尺度，因而即便下游很少直接读它，仍可能间接调节其余分量。公式只解释这种机制为什么可能；原文特定坐标的实际作用还依赖该模型的测量。把它从绘图输入拿走，不会自动改变模型计算中的均值、方差或答案。
原文 Looking at the Residual Stream · GF26
阅读完整讲义