返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

把尚未解释的例子留在桌面上

本页问题

作者专门展示 InceptionV1 mixed5a:719 的未解决例子。上方优化图与一批自然响应提示蝴蝶结、蝴蝶、泳衣的中间收窄形状;下方礼鞋、沙滩包、拖鞋响应使简单标签不充分。这里不替作者把反例圆成完整结论。

GF30/b0 · 先提出局部假说

mixed5a:719蝴蝶结蝴蝶泳衣暂定假说:中间收窄InceptionV1 原图;作者保留未解决响应 · 清晰组织不等于可靠、安全或完全解释
先提出局部假说

先看这一组例子。蝴蝶结、张开的蝴蝶、某些泳衣,颜色和类别不同,却共享中间收窄、两边张开的形状。优化图也支持这个方向。我们可以提出“夹心或沙漏形状”的假说。注意,这只是待检验的概括,不能因为三列图都能被它解释,就停止看剩余响应。

进一步解释

原图 mixed5a:719 的优化图与自然响应截取自 hourglass-neuron-cropped.webp 上部;本页只改变 SVG 视窗,不改动原像素。

教师备课:指图与模拟问答

指图与推进 · 不朗读放大原图上部;先让学生描述共同几何,再给出单元编号和暂定假说。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF30/b1 · 把不舒服的响应展开

同一个神经元礼鞋沙滩包拖鞋简单形状标签仍不充分InceptionV1 原图;作者保留未解决响应 · 清晰组织不等于可靠、安全或完全解释
把不舒服的响应展开

现在把下半部分展开。礼鞋、沙滩包、拖鞋没有都满足刚才那条简单形状描述。作者发现这些联系与共享早期单元有关,并提出“泛化带着语义残留”的可能解释,但明确说尚未完全理解。我们把它留作未解决问题,而不是把标签扩张成“所有与穿戴有关的物体”后宣布成功。

进一步解释

作者 tentative explanation 是 generalization with semantic residue。共享早期来源说明这些响应不是完全没有可追踪联系,但“有共同来源”也没有自动解释全部响应条件。

教师备课:指图与模拟问答

指图与推进 · 不朗读在保留上部假说缩略定位的同时放大下部;逐项点出礼鞋、包、拖鞋。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

GF30/b2 · 把证据等级说清

观察:这些响应存在机制:尚未完全解释信念:作者的总体判断85% 是主观信念不是已解释的神经元比例InceptionV1 原图;作者保留未解决响应 · 清晰组织不等于可靠、安全或完全解释
把证据等级说清

这里做三个区分:照片里的响应是观察;为什么会连接起来,是尚未完成的机制解释;作者仍然相信网络总体比预期更清晰,是一种综合判断。附录的百分之八十五属于第三类,不是已经解释百分之八十五神经元。即使表示比较清晰,网络仍然可能犯错、学偏或产生不希望的行为。

进一步解释

On the Title 明确没有完整模型审计。标题表达比逐例已验证结果更强的研究立场;课堂应保留这种张力。学生不必在“全部解释了”与“全都无法解释”之间二选一。

教师备课:指图与模拟问答

指图与推进 · 不朗读把“响应/机制/信念”三个词依次指回原图,不给本例打“已解释”勾。

本态来源与条件

Goodfire 原文、原图及其同源交互数据;本页按原数据重绘与中文讲解。

接下来

这个例子既不能被一句宽泛标签抹掉,也不能单独证明任意叠加。它给出下一步必须解释的对象与联系。

补充推导、边界与来源

主文 Unresolved / counterevidence;附录 On the Title。作者约85%的数字是对其总体机制判断的主观信念,不是逐神经元解释覆盖率。

与本页相关的深入阅读

A19|保留一个没有完全解释的反应

InceptionV1 mixed5a:719 会响应中间收窄的领结、蝴蝶、泳衣上部,也响应伴随它们的礼鞋、沙滩包和拖鞋。作者倾向于把它读成共同形状加语义残留,因为早层共享通路;但他没有完全解释这些例外。课程保留这个对象,是为了让“还不知道”可以落在一组实际反应上,而不是被一个足够宽的名字抹掉。

原文 Unresolved Responses · GF30

A22|规模推断为什么仍是一项假说

作者把两件事分开:旧模型混乱的经典解释是否成立,以及任意打包会不会在下一规模出现。后一项没有由前一项直接排除。他的猜想是更成熟的相关电路更容易吸引新知识,罕见事实则沿相关通路生长,因而规模增大可能加强组织而非任意打包。可检验的预测是承载罕见事实的单元与注意力头应和事实内容有关。原文明确没有证明这一发展机制,不能据此保证更大模型永远更清楚。

原文 Does Scale Help or Hurt Superposition? · GF28 · GF30

A23|怎样读一个比证据更大胆的标题

作者没有完成所有网络的全审计。他说约 85% 确信的是“几乎所有机制可能来自这一类组织过程”的假说,而不是报告“85% 神经元已解释”。标题表达的是对生成机制的判断变化,不能用作清洁率、正确率、安全性或对齐程度的测量。本文的有力之处在具体案例与可继续检查的方法;它的雄心仍需更多模型、协议和反例承受。

原文 On the Title · GF30

A25|分枝较弱,是否就可以不管

作者目前观察到的旁枝通常较罕见,在各自语境中也较少具有主干那样大的因果作用,因此不像罕见但极关键的隐藏机制。这是经验判断,并非保证;它还提出未知的抑制过度生长压力。研究上有价值的是能够解释旁枝的来路与作用,而不是仅统计 top-k 与一个标签吻合多少。若出现少见却影响巨大的分枝,就应更新这一判断。

原文 Why We’re Not Worried About Recursive Generalization · GF21 · GF30

本页证据与条件

Goodfire, “We found the neural networks were already clean”,全文、原图与同源数据。观察、干预与作者解释在逐态说明中区分。

进入主题正文