把解释交出去,再测一个新输入
本页问题
能解释旧例,还不等于能预测新例。Blind maximum 先把单元解释交给看不到原高激活样本的另一方,由它构造预期强响应的输入,再读取模型激活。本页沿 action 的一个原文实例,分开解释、预测和测量。
RG23/b0 · 先把解释交给另一方
第一位 agent 研究单元后写下一段解释。第二位只能看到这段解释,看不到单元和原来的最高响应样本。它要据此写一个预计会强烈激活单元的新句子。先把预测写下来,再去测量。这里用信息隔离减少只对旧例讲故事的空间,尚没有替解释预先宣布成功。
进一步解释
信息隔离是两方可见材料不同:调查方可看单元及例子,构造方只看解释。这有助于避免仅复述旧样本,但原文未在此交代完整搜索预算,不能额外承诺“一次生成、零迭代”。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿左侧调查者→解释→右侧只见解释者读流程;测量结果保持未出现。
本态来源与条件
Goodfire · blind-maximum · 原文实验/图数据;据原图重排
RG23/b1 · 让解释作出具体预测
这段解释说,它对 action 表示参与活动、发挥作用的用法敏感。新句子写一位替补投手在十一季里参加了四百一十二场比赛。看英文 saw action 中的 action:不是一个孤立动作,而是参与比赛。按解释,这个位置应当接近它要找的用法。到现在我们还没有看测量值;画面下方中文只帮助理解,实际被测的是上面的英文。
进一步解释
原文该实例明确标峰值token为action。中文“参加比赛”帮助解读saw action,不作为另一次测量输入;字符412与eleven seasons都来自原被测句。
教师备课:指图与模拟问答
指图与推进 · 不朗读读原英文并指action位置,明确预测后再推进;中文语义提示不当作测量输入。
本态来源与条件
Goodfire · blind-maximum · 原文实验/图数据;据原图重排
RG23/b2 · 测量支持了什么
原文新句子的激活是十八点四,高于那份一百亿 token 语料里找到的十五点零。比较的是同一单元的激活量,不是概率或准确率。解释帮助另一方在尚未见过的输入上作出了有效预测;语料最佳只是有限检索中的最高值,不是理论上限。不过,命中一个中心,还不知道解释的边界在哪里。下一步换一个单元,让两个句子看起来很像,检查另一种解释能否分清关系。
进一步解释
15.0是100亿token语料中检索到的最好激活,18.4是按解释构造的新输入的激活。它们在同一单元上比较,不是概率;中心命中不足以排除解释漏掉其他分枝,因此下一页检验边界。
教师备课:指图与模拟问答
指图与推进 · 不朗读揭示15.0与18.4的两根条,读同一单元和100亿token检索范围;不引出宠物芯片分束支线。
本态来源与条件
Goodfire · blind-maximum · 原文实验/图数据;据原图重排
接下来
中心命中之后,换一个单元,用近似句子检查另一种解释的边界。
补充推导、边界与来源
Blind maximum 的信息隔离
第一位 agent 可以调查神经元,形成短解释;第二位只看到这段解释,看不到单元本身、原始高激活例和其他内部细节,写出一个预期会最大激活它的新句子。然后才测量模型响应。图中 Qwen3-32B L8/N5247 的解释围绕不可数名词 action 表示“参与行动、正在起作用”的用法。第二位写了棒球替补投手在 11 个赛季中参与 412 场比赛的句子,峰值 token 为 action。原文显示 100 亿 token 搜索中找到的最佳例约 15.0,这个新句子约 18.4。二者是同一单元的激活量,不是百分比或概率。
原轮播另一例为 L56/N6360:请求到达负责方后,接下来是“我们正在处理”的谓语。新句子写软件支持团队确认能重现通知故障,停在 The devs are,激活约 99.5,对应语料中最佳为 82.0。它也提示我们,响应位置可能是即将出现某种表达之前,而非在某个主题名词上。
为什么中心命中不等于广度覆盖
生成一个强例可以说明解释抓住了至少一个中心区域,却不能排除还有第二份工作。作者进一步按输入到该单元的归因聚类,在宠物芯片例中分出动物标记、走失宠物/救助、microchip/RFID 等上游束。对每束分别做盲构造,同时消融其他束,并与相同消融条件下的最强语料例比较。这样比一次中心命中覆盖更多方向,但仍不是全域完备证明。
不能用单一分数取代批评
“猫或车”这种解释可能在很多预测测试里得高分,却仍漏掉 V 形机制;观察火焰输入或反极就能击中其弱点。有效的反驳往往针对具体解释。Blind maximum 是一种预先约束信息、再测量的办法,与后面 near miss、消融和上游检查互补。
来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,blind-maximum。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。
继续沿这个问题阅读
本页证据与条件
Goodfire · blind-maximum · 原文实验/图数据;据原图重排