把尚未解释的例子留在桌面上
本页问题
一个尚未解释清楚的单元可以帮助检验总体判断的边界。InceptionV1 mixed5a:719 响应领结、蝴蝶和泳衣,也响应礼鞋、沙滩包与拖鞋。简单的“中间收窄”概括不能接住全部证据,剩余部分应继续作为研究问题。
RG30/b0 · 提出一个暂定概括
先看 mixed5a:719 这组响应。领结、蝴蝶与泳衣这些对象,中间都收窄、两边张开,“沙漏形”是一个可能的概括。原图上部保留同一单元的优化图与自然例,两个视角都指向类似形状。这个名字是候选解释,不能在几张顺眼的图上就结束。接着看同一个单元剩下的响应。
进一步解释
本态展示原图上部响应证据的固定视窗。中间收窄是从当前可见对象提出的候选,不是作者已经证明的完整函数。优化图和自然例受不同选择因素影响,应一起读。
教师备课:指图与模拟问答
指图与推进 · 不朗读在原图上部逐项指领结、蝴蝶、泳衣,再给中间收窄的暂定读法;暂不提前显示下部反例。
本态来源与条件
Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。
RG30/b1 · 把难解释的响应保留下来
继续往下看,礼鞋、沙滩包与拖鞋没有都满足刚才的简单描述。作者找到一些共同来源,也提出带着语义残留的泛化解释,但还没有完全讲清。我们保留这些响应为待解决问题,不把标签无限放大后宣布成功。照片里有这些响应是观察;为什么相连是候选解释;整个网络多清晰则是更大的判断。能追到局部机制已经让研究前进,还不等于模型被解释完了。
进一步解释
保留上部缩略定位后才出现下部礼鞋、沙滩包与拖鞋。共同早期来源可以提示解释方向,却尚不足以说明全部响应;这就是应保留的具体未知。作者的85%另属总体机制判断的主观信念,不能作本例覆盖率。
教师备课:指图与模拟问答
指图与推进 · 不朗读保留上部缩略定位,放大同一原图的礼鞋/包/拖鞋;最后把观察、候选解释与总体判断分别说清。
本态来源与条件
Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。
接下来
回收三类证据,再把表示放回实际计算。
补充推导、边界与来源
主文 Unresolved / counterevidence;附录 On the Title。作者约85%的数字是对其总体机制判断的主观信念,不是逐神经元解释覆盖率。
与本页相关的深入阅读
A19|保留一个没有完全解释的反应
InceptionV1 mixed5a:719 会响应中间收窄的领结、蝴蝶、泳衣上部,也响应伴随它们的礼鞋、沙滩包和拖鞋。作者倾向于把它读成共同形状加语义残留,因为早层共享通路;但他没有完全解释这些例外。课程保留这个对象,是为了让“还不知道”可以落在一组实际反应上,而不是被一个足够宽的名字抹掉。
原文 Unresolved Responses · GF30
A22|规模推断为什么仍是一项假说
作者把两件事分开:旧模型混乱的经典解释是否成立,以及任意打包会不会在下一规模出现。后一项没有由前一项直接排除。他的猜想是更成熟的相关电路更容易吸引新知识,罕见事实则沿相关通路生长,因而规模增大可能加强组织而非任意打包。可检验的预测是承载罕见事实的单元与注意力头应和事实内容有关。原文明确没有证明这一发展机制,不能据此保证更大模型永远更清楚。
原文 Does Scale Help or Hurt Superposition? · GF28 · GF30
A23|怎样读一个比证据更大胆的标题
作者没有完成所有网络的全审计。他说约 85% 确信的是“几乎所有机制可能来自这一类组织过程”的假说,而不是报告“85% 神经元已解释”。标题表达的是对生成机制的判断变化,不能用作清洁率、正确率、安全性或对齐程度的测量。本文的有力之处在具体案例与可继续检查的方法;它的雄心仍需更多模型、协议和反例承受。
A25|分枝较弱,是否就可以不管
作者目前观察到的旁枝通常较罕见,在各自语境中也较少具有主干那样大的因果作用,因此不像罕见但极关键的隐藏机制。这是经验判断,并非保证;它还提出未知的抑制过度生长压力。研究上有价值的是能够解释旁枝的来路与作用,而不是仅统计 top-k 与一个标签吻合多少。若出现少见却影响巨大的分枝,就应更新这一判断。
原文 Why We’re Not Worried About Recursive Generalization · GF21 · GF30
继续沿这个问题阅读
本页证据与条件
Goodfire, “We found the neural networks were already clean”,全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。