完整深入材料 · 保留原页与全部停点。回到相关主讲
从可解释案例,走向可执行研究
本页问题
原文后半与附录把若干观察组织成研究方向:训练中分支怎样出现、稀有事实如何复用已有结构、机制图如何帮助解释泛化,以及 AI agents 能否协作构建更大尺度解释。它们成熟度不同。本页先把能执行的实验说清,再讨论方法与愿景。
GF31/b0 · 给假说写失败条件
先选一个可以做实验的问题。某条稀有事实出现时,它是否更多借用已有的相关单元?我们可以跨多个事实找候选单元,比较相关单元干预与激活强度匹配的无关单元干预,并测量事实读出及旁损。如果无关单元同样稳定地承担作用,或相关标签预测不了干预结果,就必须修改“语义复用”的解释。
进一步解释
这是根据原文方向构造的可执行研究方案,不是 Goodfire 已完成的同名实验。需固定模型/语料/事实频率、记录候选选择规则、区分发现集与验证集,测目标 logit 与无关任务旁损,而不是只比较解释看起来是否自然。
教师备课:指图与模拟问答
指图与推进 · 不朗读指“假说→匹配对照→目标读出与旁损→失败条件”,让学生补一句可能推翻假说的观察。
本态来源与条件
Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。
GF31/b1 · 沿训练过程追分支
第二个问题是:耳朵家族的分支怎样长出来?前面 GF28 比较三个训练完成的模型,还不足以回答。需要保存同一次训练的 checkpoints,追踪候选响应与连线何时分化,再检验早期共同来源是否确实影响两条支路。附录的 circuit racing 思路提出选择与竞争的解释,但其中一些直接证据是在整网络层面,不能自动当成已经观察到内部每条电路之间的竞赛。
进一步解释
Why Networks Generalize 的少量照片训练例子要限界:一张照片主要学到颜色;十张照片的约五分之一正确、约两倍机会表现,可被颜色基线匹配,不能说学出了完整动物语义。Toy Models 可隔离机制但可能人为设定了答案;真实网络观察与玩具机制应相互约束。大型语言模型缺少完整 checkpoints 是作者提出发育研究时的现实缺口。
教师备课:指图与模拟问答
指图与推进 · 不朗读把三个独立模型终态放旁边,把一条训练时间轴作为新对象;标出保存、对应、干预三个工作点。
本态来源与条件
Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。
GF31/b2 · 愿景与结果分开
最后是作者的愿景:让很多研究 agents 各自探索局部,把解释交叉检查,逐渐形成层层相连的机制模型。价值不在于生成更多标签,而在于每一层抽象仍能落回真实单元、例子和检验。原文的 many-agents 图是在说明这种工作方式,并没有报告一个已经覆盖整模型的系统成绩。至于用它改进对齐、训练或神经科学,这些都是待验证的延伸。
进一步解释
Circuit Ecology 把特征放回共同使用、竞争和复用关系中,提醒我们解释对象可是一组连接而非孤立字典项。Features 的术语需区分单元、方向、可命名概念与可读出功能。Meta-Models 是对真实网络构造更高层可检验模型的路线;不是模型已经能完整自我解释。神经科学联系是作者兴趣与类比,不能直接外推生物神经系统。修改有害行为或移除不希望的学习环境属于未来研究建议,未提供安全保证。
教师备课:指图与模拟问答
指图与推进 · 不朗读从实验记录到局部机制、再到更高抽象,用返回箭头指回真实节点;最后落在“能被证据修改”。
本态来源与条件
Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。
接下来
研究进展来自能被反例改写的局部机制,再逐渐连接到更高尺度模型。愿景值得提出,不能充当已经实现的结果。
补充推导、边界与来源
附录 Why Networks Generalize、Circuit Racing、Watching Development、Toy Models、Circuit Ecology、Features、Meta-Models、neuroscience discussion,以及主文 Looking Forward。详细阅读见本页补充说明与 Goodfire 专题全文。
与本页相关的深入阅读
A14|从一张图开始,泛化还是记忆先出现
作者的解释假说是:已有的宽模式更容易获得梯度、吸收剩余误差,随后继续被复用。单张拉布拉多照片训练出的网络主要迁移了深色和绿色,不能说它从一张图真正学懂狗。十种类别各给一张照片的实验在新图上约五分之一正确、约为机会水平两倍;颜色匹配也差不多好。这支持很弱的早期迁移,不是强 one-shot 识别。原文也保留 grokking 等任务中记忆先占优的例外,不能把发展猜想宣布为统一定理。
原文 Why Networks Generalize · GF31
A15|两个网络竞争,不等于网络内部电路竞争
Circuit Racing 把预训练网络与空白网络放在共享目标下,观察前者吸走大部分贡献,后者学习有限;虚线表示各自单独学,金色带表示共享目标分配的贡献。图给出两项选定比较和各个 seed。这个整体模型层面的干预展示先发优势,却不能直接证明单一网络内部所有电路也按完全相同机制竞争;后者仍是作者的解释方向。
A17|toy model 的结论可以带到哪里
作者认可 Toy Models of Superposition 在自身设定中的实验,并未声称它们算错。争论在于该重建设定为每个预定义特征计入干扰成本,却较少包含真实网络中下游复用共同结构的收益。本文给出两个补充 toy:共享对角线单元被不同任务读成圆和四角;另把 20 个输入分成四个共同激活组,经过五维瓶颈并加入隐层,相关输入更常共同生长,输入变密时更接近 PCA-like 结构。它们说明设定会改变答案,不能用任何一个小玩具模型宣告真实大网络必然如此。
原文 Toy Models · GF10 · GF31
A18|电路生态解释有什么可检验部分
作者猜想已有相关部件与读出者有学习速度优势,新的相关误差先被它们捕获,较不相关的候选路线失去梯度。独立单元的形成可能尤其有利于被下游继续构造,而非仅仅把答案推向输出。手工安装任意打包编码的实验经常因干扰而失败;成功的部分多随训练减弱,也有保留。人工施工能力有限,所以这一尝试不是不可能性证明。更强的检验应比较匹配的学习轨迹和因果作用。
原文 More on Circuit Ecology · GF28 · GF31
A21|让另一个模型解释激活,会替代机制研究吗
Meta-model 直接读取另一个模型的激活并给出解释,可能有比逐单元研究更好的高层用途。本文没有给这类方法做全面比较,而是提出兼容关系:把它当地图的最高层,再沿其判断追查具体单元与电路。高层说得对,与其内部证据可以追溯,是两个需要各自检验的要求。
原文 Relation to Meta-Models · GF31
A28|神经科学类比与作者动机放在哪里
作者坦承不是神经科学家,把人工网络中的泛化、组合和误差信号是否可迁移到脑作为猜想。他强调,即便人工网络可复制、干预、跑大量样本,解释也走过很多弯路,因此不能轻率把有限生物观测读成某种机制结论。结尾关于让 agent 更理解自身的愿望,是研究动机和价值判断,不是人工网络实验推出的脑科学或意识结论。
本页证据与条件
Goodfire, “We found the neural networks were already clean”,全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。