本页学习说明
附录 Why Networks Generalize、Circuit Racing、Watching Development、Toy Models、Circuit Ecology、Features、Meta-Models、neuroscience discussion，以及主文 Looking Forward。详细阅读见本页补充说明与 Goodfire 专题全文。
与本页相关的深入阅读
A14｜从一张图开始，泛化还是记忆先出现
作者的解释假说是：已有的宽模式更容易获得梯度、吸收剩余误差，随后继续被复用。单张拉布拉多照片训练出的网络主要迁移了深色和绿色，不能说它从一张图真正学懂狗。十种类别各给一张照片的实验在新图上约五分之一正确、约为机会水平两倍；颜色匹配也差不多好。这支持很弱的早期迁移，不是强 one-shot 识别。原文也保留 grokking 等任务中记忆先占优的例外，不能把发展猜想宣布为统一定理。
原文 Why Networks Generalize · GF31
A15｜两个网络竞争，不等于网络内部电路竞争
Circuit Racing 把预训练网络与空白网络放在共享目标下，观察前者吸走大部分贡献，后者学习有限；虚线表示各自单独学，金色带表示共享目标分配的贡献。图给出两项选定比较和各个 seed。这个整体模型层面的干预展示先发优势，却不能直接证明单一网络内部所有电路也按完全相同机制竞争；后者仍是作者的解释方向。
原文 Circuit Racing · GF31
A17｜toy model 的结论可以带到哪里
作者认可 Toy Models of Superposition 在自身设定中的实验，并未声称它们算错。争论在于该重建设定为每个预定义特征计入干扰成本，却较少包含真实网络中下游复用共同结构的收益。本文给出两个补充 toy：共享对角线单元被不同任务读成圆和四角；另把 20 个输入分成四个共同激活组，经过五维瓶颈并加入隐层，相关输入更常共同生长，输入变密时更接近 PCA-like 结构。它们说明设定会改变答案，不能用任何一个小玩具模型宣告真实大网络必然如此。
原文 Toy Models · GF10 · GF31
A18｜电路生态解释有什么可检验部分
作者猜想已有相关部件与读出者有学习速度优势，新的相关误差先被它们捕获，较不相关的候选路线失去梯度。独立单元的形成可能尤其有利于被下游继续构造，而非仅仅把答案推向输出。手工安装任意打包编码的实验经常因干扰而失败；成功的部分多随训练减弱，也有保留。人工施工能力有限，所以这一尝试不是不可能性证明。更强的检验应比较匹配的学习轨迹和因果作用。
原文 More on Circuit Ecology · GF28 · GF31
A21｜让另一个模型解释激活，会替代机制研究吗
Meta-model 直接读取另一个模型的激活并给出解释，可能有比逐单元研究更好的高层用途。本文没有给这类方法做全面比较，而是提出兼容关系：把它当地图的最高层，再沿其判断追查具体单元与电路。高层说得对，与其内部证据可以追溯，是两个需要各自检验的要求。
原文 Relation to Meta-Models · GF31
A28｜神经科学类比与作者动机放在哪里
作者坦承不是神经科学家，把人工网络中的泛化、组合和误差信号是否可迁移到脑作为猜想。他强调，即便人工网络可复制、干预、跑大量样本，解释也走过很多弯路，因此不能轻率把有限生物观测读成某种机制结论。结尾关于让 agent 更理解自身的愿望，是研究动机和价值判断，不是人工网络实验推出的脑科学或意识结论。
原文 Neuroscience, and Why I Care · GF31
阅读完整讲义