完整深入材料 · 保留原页与全部停点。回到相关主讲
看起来很像,却缺了关键条件:解释还成立吗?
本页问题
上一页的新句子击中了一个中心。现在把问题改成:解释能不能划出边界,区分与它相近但不该算的例子?
GF24/b0 · 先给解释,不给成绩
这个单元的候选解释是“已经答应给别人,但还没交付”。先读上面的新句子:小马还没出生,饲养者就已经许诺给某人的马厩。它符合两个条件:已有归属承诺,但交付还没发生。现在我们不求它对所有与马有关的文本都强响应,只预测这个特定关系。
教师备课:指图与模拟问答
指图与推进 · 不朗读读候选解释,再读命中句;暂不显示响应条。
本态来源与条件
Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排
GF24/b1 · 只拿掉关键关系
第二句保留了小马、出生前、马厩这些容易让人联想的词,却改为把母马送到了那里。运输母马并不等于承诺小马归谁。原文实测中,上句达到该单元最强语料例的百分之八十一,下句百分之二十。分开的不是“马”和“非马”,而是解释声称的那种关系。这里的百分比是归一化激活,不是模型答对的概率。
教师备课:指图与模拟问答
指图与推进 · 不朗读并排指许诺与运送的差异,再揭示81%/20%的测量条。
本态来源与条件
Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排
GF24/b2 · 把成功与失败都放回分母
主图只画二十个单元,各给五个新例和五个近失配:强响应分别八十一条和八条。附录的完整口径更大,正侧解释的一百八十三个单元里,强响应率是百分之七十六和百分之十一;逐单元比较有四个输了。不要把两个分母拼成一个更漂亮的数字。近失配支持解释有边界,却不能单独排除一个单元同时做两个无关工作,所以作者还检查远概念与上游路线。
进一步解释
阈值为该单元最强语料例激活的30%;不是概率阈值。
教师备课:指图与模拟问答
指图与推进 · 不朗读依次读20单元图示与183单元完整测试,保留赢/平/输,不画跨协议进步线。
本态来源与条件
Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排
接下来
局部检查给了我们可失败的解释。最后再回读原文的审计比例与历史进展,判断这些数字到底压缩了什么。
补充推导、边界与来源
同一解释的命中与近失配
主图单元是 Qwen3-32B L36/N15664,解释为“东西或人已经答应给某一方,但尚未交付”,即 spoken for。命中句写小马还没出生,饲养者就已许诺给某马厩;near miss 保留小马、马厩与出生前的情境,却改成把母马送到马厩,并没有许诺归属。原图展示的两段文本前缀都止于 for,报告的响应分别为最强语料例的 81% 与 20%;可见来源未标注具体测量 token,不能把句末 for 当作已确认的测量位置。第二对葡萄酒预售约定与已经出售的例子为 43% 与 16%。
这些百分数是激活值相对于该单元最强语料例的比例,既不是答案概率,也不是“81%的句子理解正确”。两句只换关键条件,是为了减少用大类主题就能蒙对的可能,但仍不能证明唯一机制。
主图与完整样本的两个分母
主图展示最初 20 个单元;每个解释生成 5 个命中新例与 5 个近失配,因此各 100 条。以达到最强语料例的 30% 为强响应阈值,命中有 81/100,近失配 8/100;20 个单元的均值比较都在命中侧更强。
附录的完整测试从 gallery 随机取 200 个单元,其中 183 个解释描述正侧进入这一口径:命中新例强响应约 76%,近失配约 11%;逐单元比较赢 164、平 15、输 4。不能把主图的 81%/8%当成全部 183 单元的结果,也不能悄悄删除失败的 4 个。
这个测试不能单独解决 superposition
一个真正同时做 X 或 Y 的单元,也可能把“不属于 X 或 Y”的近失配拒绝得很好。因此 near miss 检查的是边界,不单独判定概念为什么共处。作者还让 agent 构造尽可能遥远的概念,每单元 5 条,这些文本强响应约 1%;183 个单元中有 179 个在这些文本上从未强响应。但“agent 想到的远概念”仍不是整个可能输入空间。
好的解释要接受多种批评:中心新例、相近反例、远概念、符号分区、上游构成和实际干预。本文据这些结果提出组织机制假说,仍不把它们变成全模型的完备证明。
来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,explanations-could-lose。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。
与本页相关的深入阅读
A12|近失配、遥远概念和盲测中心各检验什么
从 gallery 随机抽 200 个单元后,183 个解释描述正侧。agent 先只读解释,分别写五个应该激活的新例和五个近失配,再测响应;达到语料最强响应的 30% 算强。完整样本的新例强响应率为 76%、近失配为 11%,按单元计赢 164、平 15、输 4。主图展示前 20 个,81/100 对 8/100 是这个子集的数字,不能与整体混写。
近失配检查语义边界,却不能独自区分“X 或 Y”的任意打包;它对 X、Y 都可以有清楚边界。作者另让 agent 写最遥远概念,约 1% 达强响应,179/183 个单元没有一次强响应。有限构造仍不穷尽所有潜在用途。Blind maximum 测中心、近失配测边界、遥远概念挑战无关分支、路径与干预再问怎样发生;没有一个单分数替代其余工作。
本页证据与条件
Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排