本页学习说明
同一解释的命中与近失配
本页换到另一个单元;前页 action 的中心命中与这里的边界测试不属于同一单元。主图单元是 Qwen3-32B L36/N15664,解释为“东西或人已经答应给某一方,但尚未交付”,即 spoken for。命中句写小马还没出生,饲养者就已许诺给某马厩;near miss 保留小马、马厩与出生前的情境,却改成把母马送到马厩,并没有许诺归属。原图给这两个文本前缀报告的响应分别为最强语料例的 81% 与 20%。第二对葡萄酒预售约定与已经出售的例子为 43% 与 16%。
这些百分数是激活值相对于该单元最强语料例的比例,既不是答案概率,也不是“81%的句子理解正确”。两句只换关键条件,是为了减少用大类主题就能蒙对的可能,但仍不能证明唯一机制。
文本前缀与测量位置
原图的两个英文片段都止于 for,葡萄酒例止于 at;这就是原文提供的展示内容,不在课堂替实验续写。原文正文、图注和该对例子的HTML没有明确标出峰值token、token索引或取值位置,因而只能核定文本展示与相对激活读数,不能把最后一个词直接宣布为测量位置。
主图与完整样本的两个分母
主图展示最初 20 个单元;每个解释生成 5 个命中新例与 5 个近失配,因此各 100 条。以达到最强语料例的 30% 为强响应阈值,命中有 81/100,近失配 8/100;20 个单元的均值比较都在命中侧更强。
附录的完整测试从 gallery 随机取 200 个单元,其中 183 个解释描述正侧进入这一口径:命中新例强响应约 76%,近失配约 11%;逐单元比较赢 164、平 15、输 4。不能把主图的 81%/8%当成全部 183 单元的结果,也不能悄悄删除失败的 4 个。
这个测试不能单独解决 superposition
一个真正同时做 X 或 Y 的单元,也可能把“不属于 X 或 Y”的近失配拒绝得很好。因此 near miss 检查的是边界,不单独判定概念为什么共处。作者还让 agent 构造尽可能遥远的概念,每单元 5 条,这些文本强响应约 1%;183 个单元中有 179 个在这些文本上从未强响应。但“agent 想到的远概念”仍不是整个可能输入空间。
好的解释要接受多种批评:中心新例、相近反例、远概念、符号分区、上游构成和实际干预。本文据这些结果提出组织机制假说,仍不把它们变成全模型的完备证明。
来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,explanations-could-lose。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。
与本页相关的深入阅读
A12|近失配、遥远概念和盲测中心各检验什么
从 gallery 随机抽 200 个单元后,183 个解释描述正侧。agent 先只读解释,分别写五个应该激活的新例和五个近失配,再测响应;达到语料最强响应的 30% 算强。完整样本的新例强响应率为 76%、近失配为 11%,按单元计赢 164、平 15、输 4。主图展示前 20 个,81/100 对 8/100 是这个子集的数字,不能与整体混写。
近失配检查语义边界,却不能独自区分“X 或 Y”的任意打包;它对 X、Y 都可以有清楚边界。作者另让 agent 写最遥远概念,约 1% 达强响应,179/183 个单元没有一次强响应。有限构造仍不穷尽所有潜在用途。Blind maximum 测中心、近失配测边界、遥远概念挑战无关分支、路径与干预再问怎样发生;没有一个单分数替代其余工作。
原文 Explanations That Could Lose · GF23 · GF24
继续沿这个问题阅读
本例的完整图、原逐态说明与推导。
前20个单元的子集与完整统计对照画面。此处保留两个分母供核对;本页课堂统计只使用183个正侧解释口径。
阅读完整讲义