本页学习说明
Blind maximum 的信息隔离
第一位 agent 可以调查神经元,形成短解释;第二位只看到这段解释,看不到单元本身、原始高激活例和其他内部细节,写出一个预期会最大激活它的新句子。然后才测量模型响应。图中 Qwen3-32B L8/N5247 的解释围绕不可数名词 action 表示“参与行动、正在起作用”的用法。第二位写了棒球替补投手在 11 个赛季中参与 412 场比赛的句子,峰值 token 为 action。原文显示 100 亿 token 搜索中找到的最佳例约 15.0,这个新句子约 18.4。二者是同一单元的激活量,不是百分比或概率。
原轮播另一例为 L56/N6360:请求到达负责方后,接下来是“我们正在处理”的谓语。新句子写软件支持团队确认能重现通知故障,停在 The devs are,激活约 99.5,对应语料中最佳为 82.0。它也提示我们,响应位置可能是即将出现某种表达之前,而非在某个主题名词上。
为什么中心命中不等于广度覆盖
生成一个强例可以说明解释抓住了至少一个中心区域,却不能排除还有第二份工作。作者进一步按输入到该单元的归因聚类,在宠物芯片例中分出动物标记、走失宠物/救助、microchip/RFID 等上游束。对每束分别做盲构造,同时消融其他束,并与相同消融条件下的最强语料例比较。这样比一次中心命中覆盖更多方向,但仍不是全域完备证明。
不能用单一分数取代批评
“猫或车”这种解释可能在很多预测测试里得高分,却仍漏掉 V 形机制;观察火焰输入或反极就能击中其弱点。有效的反驳往往针对具体解释。Blind maximum 是一种预先约束信息、再测量的办法,与后面 near miss、消融和上游检查互补。
来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,blind-maximum。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。
继续沿这个问题阅读
本例的完整图、原逐态说明与推导。
完整说明:第二个新例、上游分束与覆盖范围。
阅读完整讲义