返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

先写下解释,再让没见过原例的一方找新输入

本页问题

看懂一张归因图之后,最容易犯的错是把一个顺口的故事当成机制。原文接着问:解释能不能在新的输入上先作预测?

GF23/b0 · 把解释交出去

Qwen3-32B · L8/N5247 · Blind maximum研究者:看单元、写解释action 是不可数名词表示参与、处于运作中另一方:只看这段解释写一个预计会强响应的新句不看神经元与原始高激活例信息先隔离 → 作出输入预测 → 再测激活先限定可见信息,减少只对旧例讲故事的空间
把解释交出去

现在我们不继续补标签,先建立一个能让解释失败的程序。第一位 agent 调查这个单元,写下它在 action 表示参与行动、正在起作用时响应。第二位只能看到这句话,看不到原来的最高激活例,也不打开神经元。它要据此写一个新输入。这样,下一步的成功就不能只归因于把原例照抄了一遍。

教师备课:指图与模拟问答

指图与推进 · 不朗读指左列研究者与中间的信息边界;结果区暂不出现。

本态来源与条件

Goodfire · blind-maximum · 原文实验/图数据;据原图重排

GF23/b1 · 新句子作出具体预测

Qwen3-32B · L8/N5247 · Blind maximumHe was a journeyman reliever who sawactionin 412 games over eleven seasons.十一季里参加 412 场比赛:参与活动的 action预测:这个用法,应当落在解释的中心此时还没有看测量结果英文句子与峰值位置来自原文实际测试
新句子作出具体预测

第二位写的是一个替补投手的经历:十一季里参加了四百一十二场比赛。请看里面 saw action 的 action。我们还没看数字,就已经有了预测:这不是一次单独的“动作”,而是参与比赛这项活动,应该落在解释所指的用法附近。即使没有人回答,我们也能把这个预期明确写下来,然后打开原文测量。

进一步解释

英文句子是原图实际测试输入,不用中文改写重新宣称同一测量值。

教师备课:指图与模拟问答

指图与推进 · 不朗读读句子并指action,先口述预期再推进。

本态来源与条件

Goodfire · blind-maximum · 原文实验/图数据;据原图重排

GF23/b2 · 测到更强,也只先说明中心

Qwen3-32B · L8/N5247 · Blind maximumHe was a journeyman reliever who sawactionin 412 games over eleven seasons.十一季里参加 412 场比赛:参与活动的 action100 亿 token 最佳15.0盲构造的新句18.4同一单元的激活值,不是概率或准确率新例命中中心;是否有第二条分枝,还要另查
测到更强,也只先说明中心

结果是十八点四,超过这份一百亿 token 语料里找到的最佳十五点零。这里比较的是同一神经元的激活强度,不是模型准确率。解释确实帮助另一方找到了一个很贴近中心的新例。但一枪打中中心,还不知道它有没有第二条分枝。作者于是对上游归因分束、分别构造与消融;下一页则换一个角度,找只差关键条件的近失配句子。

教师备课:指图与模拟问答

指图与推进 · 不朗读揭示两根有数值的原测量条,读分母与语料范围,然后指中心/边界分工。

本态来源与条件

Goodfire · blind-maximum · 原文实验/图数据;据原图重排

接下来

盲构造命中了中心,仍不知道边界在哪里。下一页保留一条具体解释,找那些几乎一样、却缺少关键条件的句子。

补充推导、边界与来源

Blind maximum 的信息隔离

第一位 agent 可以调查神经元,形成短解释;第二位只看到这段解释,看不到单元本身、原始高激活例和其他内部细节,写出一个预期会最大激活它的新句子。然后才测量模型响应。图中 Qwen3-32B L8/N5247 的解释围绕不可数名词 action 表示“参与行动、正在起作用”的用法。第二位写了棒球替补投手在 11 个赛季中参与 412 场比赛的句子,峰值 token 为 action。原文显示 100 亿 token 搜索中找到的最佳例约 15.0,这个新句子约 18.4。二者是同一单元的激活量,不是百分比或概率。

原轮播另一例为 L56/N6360:请求到达负责方后,接下来是“我们正在处理”的谓语。新句子写软件支持团队确认能重现通知故障,停在 The devs are,激活约 99.5,对应语料中最佳为 82.0。它也提示我们,响应位置可能是即将出现某种表达之前,而非在某个主题名词上。

为什么中心命中不等于广度覆盖

生成一个强例可以说明解释抓住了至少一个中心区域,却不能排除还有第二份工作。作者进一步按输入到该单元的归因聚类,在宠物芯片例中分出动物标记、走失宠物/救助、microchip/RFID 等上游束。对每束分别做盲构造,同时消融其他束,并与相同消融条件下的最强语料例比较。这样比一次中心命中覆盖更多方向,但仍不是全域完备证明。

不能用单一分数取代批评

“猫或车”这种解释可能在很多预测测试里得高分,却仍漏掉 V 形机制;观察火焰输入或反极就能击中其弱点。有效的反驳往往针对具体解释。Blind maximum 是一种预先约束信息、再测量的办法,与后面 near miss、消融和上游检查互补。

来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,blind-maximum。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。

本页证据与条件

Goodfire · blind-maximum · 原文实验/图数据;据原图重排

进入主题正文