返回课堂

把解释交出去,再测一个新输入

本页问题

能解释旧例,还不等于能预测新例。Blind maximum 先把单元解释交给看不到原高激活样本的另一方,由它构造预期强响应的输入,再读取模型激活。本页沿 action 的一个原文实例,分开解释、预测和测量。

RG23/b0 · 先把解释交给另一方

Qwen3-32B · L8/N5247 · 用解释预测新输入的响应研究者:调查单元、写解释action:不可数名词表示参与、处于运作中另一方:只看解释构造预计会强响应的输入不看原单元与高激活样本信息隔离预测测量
先把解释交给另一方

第一位 agent 研究单元后写下一段解释。第二位只能看到这段解释,看不到单元和原来的最高响应样本。它要据此写一个预计会强烈激活单元的新句子。先把预测写下来,再去测量。这里用信息隔离减少只对旧例讲故事的空间,尚没有替解释预先宣布成功。

进一步解释

信息隔离是两方可见材料不同:调查方可看单元及例子,构造方只看解释。这有助于避免仅复述旧样本,但原文未在此交代完整搜索预算,不能额外承诺“一次生成、零迭代”。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿左侧调查者→解释→右侧只见解释者读流程;测量结果保持未出现。

本态来源与条件

Goodfire · blind-maximum · 原文实验/图数据;据原图重排

RG23/b1 · 让解释作出具体预测

Qwen3-32B · L8/N5247 · 用解释预测新输入的响应He was a journeyman reliever who sawactionin 412 games over eleven seasons.saw action:十一季里参加 412 场比赛预测:这里的 action 符合“参与活动”先确定预测,再揭示测量
让解释作出具体预测

这段解释说,它对 action 表示参与活动、发挥作用的用法敏感。新句子写一位替补投手在十一季里参加了四百一十二场比赛。看英文 saw action 中的 action:不是一个孤立动作,而是参与比赛。按解释,这个位置应当接近它要找的用法。到现在我们还没有看测量值;画面下方中文只帮助理解,实际被测的是上面的英文。

进一步解释

原文该实例明确标峰值token为action。中文“参加比赛”帮助解读saw action,不作为另一次测量输入;字符412与eleven seasons都来自原被测句。

教师备课:指图与模拟问答

指图与推进 · 不朗读读原英文并指action位置,明确预测后再推进;中文语义提示不当作测量输入。

本态来源与条件

Goodfire · blind-maximum · 原文实验/图数据;据原图重排

RG23/b2 · 测量支持了什么

Qwen3-32B · L8/N5247 · 用解释预测新输入的响应He was a journeyman reliever who sawactionin 412 games over eleven seasons.saw action:十一季里参加 412 场比赛100 亿 token 语料最佳15.0按解释构造的新句18.4同一单元的激活量
测量支持了什么

原文新句子的激活是十八点四,高于那份一百亿 token 语料里找到的十五点零。比较的是同一单元的激活量,不是概率或准确率。解释帮助另一方在尚未见过的输入上作出了有效预测;语料最佳只是有限检索中的最高值,不是理论上限。不过,命中一个中心,还不知道解释的边界在哪里。下一步换一个单元,让两个句子看起来很像,检查另一种解释能否分清关系。

进一步解释

15.0是100亿token语料中检索到的最好激活,18.4是按解释构造的新输入的激活。它们在同一单元上比较,不是概率;中心命中不足以排除解释漏掉其他分枝,因此下一页检验边界。

教师备课:指图与模拟问答

指图与推进 · 不朗读揭示15.0与18.4的两根条,读同一单元和100亿token检索范围;不引出宠物芯片分束支线。

本态来源与条件

Goodfire · blind-maximum · 原文实验/图数据;据原图重排

接下来

中心命中之后,换一个单元,用近似句子检查另一种解释的边界。

补充推导、边界与来源

Blind maximum 的信息隔离

第一位 agent 可以调查神经元,形成短解释;第二位只看到这段解释,看不到单元本身、原始高激活例和其他内部细节,写出一个预期会最大激活它的新句子。然后才测量模型响应。图中 Qwen3-32B L8/N5247 的解释围绕不可数名词 action 表示“参与行动、正在起作用”的用法。第二位写了棒球替补投手在 11 个赛季中参与 412 场比赛的句子,峰值 token 为 action。原文显示 100 亿 token 搜索中找到的最佳例约 15.0,这个新句子约 18.4。二者是同一单元的激活量,不是百分比或概率。

原轮播另一例为 L56/N6360:请求到达负责方后,接下来是“我们正在处理”的谓语。新句子写软件支持团队确认能重现通知故障,停在 The devs are,激活约 99.5,对应语料中最佳为 82.0。它也提示我们,响应位置可能是即将出现某种表达之前,而非在某个主题名词上。

为什么中心命中不等于广度覆盖

生成一个强例可以说明解释抓住了至少一个中心区域,却不能排除还有第二份工作。作者进一步按输入到该单元的归因聚类,在宠物芯片例中分出动物标记、走失宠物/救助、microchip/RFID 等上游束。对每束分别做盲构造,同时消融其他束,并与相同消融条件下的最强语料例比较。这样比一次中心命中覆盖更多方向,但仍不是全域完备证明。

不能用单一分数取代批评

“猫或车”这种解释可能在很多预测测试里得高分,却仍漏掉 V 形机制;观察火焰输入或反极就能击中其弱点。有效的反驳往往针对具体解释。Blind maximum 是一种预先约束信息、再测量的办法,与后面 near miss、消融和上游检查互补。

来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,blind-maximum。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

完整说明:第二个新例、上游分束与覆盖范围。

本页证据与条件

Goodfire · blind-maximum · 原文实验/图数据;据原图重排

进入主题正文