返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

看起来很像,却缺了关键条件:解释还成立吗?

本页问题

上一页的新句子击中了一个中心。现在把问题改成:解释能不能划出边界,区分与它相近但不该算的例子?

GF24/b0 · 先给解释,不给成绩

Qwen3-32B · L36/N15664 · 候选解释:spoken for已经答应给某一方,但尚未交付Before the foal was even born, the breeder had alreadypromised it to the sheikh's racing stable for小马尚未出生,归属已经许诺“承诺归属”与“尚未交付”同时成立下一步:保留主题,拿掉关键关系先写出关系预测,再看响应
先给解释,不给成绩

这个单元的候选解释是“已经答应给别人,但还没交付”。先读上面的新句子:小马还没出生,饲养者就已经许诺给某人的马厩。它符合两个条件:已有归属承诺,但交付还没发生。现在我们不求它对所有与马有关的文本都强响应,只预测这个特定关系。

教师备课:指图与模拟问答

指图与推进 · 不朗读读候选解释,再读命中句;暂不显示响应条。

本态来源与条件

Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排

GF24/b1 · 只拿掉关键关系

Qwen3-32B · L36/N15664 · 候选解释:spoken for已经答应给某一方,但尚未交付Before the foal was even born, the breeder had alreadypromised it to the sheikh's racing stable forBefore the foal was even born, the breeder had alreadydriven the mare to the sheikh's racing stable for新例81%近失配20%相对于该单元最强语料例的激活;不是答案概率
只拿掉关键关系

第二句保留了小马、出生前、马厩这些容易让人联想的词,却改为把母马送到了那里。运输母马并不等于承诺小马归谁。原文实测中,上句达到该单元最强语料例的百分之八十一,下句百分之二十。分开的不是“马”和“非马”,而是解释声称的那种关系。这里的百分比是归一化激活,不是模型答对的概率。

教师备课:指图与模拟问答

指图与推进 · 不朗读并排指许诺与运送的差异,再揭示81%/20%的测量条。

本态来源与条件

Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排

GF24/b2 · 把成功与失败都放回分母

Qwen3-32B · L36/N15664 · 候选解释:spoken for强响应阈值:达到该单元最强语料例的 30%口径命中新例近失配主图:20 单元 × 各 5 条81 / 1008 / 100完整:183 个正侧解释约 76%约 11%完整口径逐单元比较:赢 164 平 15 输 4200 个随机单元中,183 个解释描述正侧两组分母分别保留,也保留失败案例边界检查有用;单独通过它不能排除两个无关工作
把成功与失败都放回分母

主图只画二十个单元,各给五个新例和五个近失配:强响应分别八十一条和八条。附录的完整口径更大,正侧解释的一百八十三个单元里,强响应率是百分之七十六和百分之十一;逐单元比较有四个输了。不要把两个分母拼成一个更漂亮的数字。近失配支持解释有边界,却不能单独排除一个单元同时做两个无关工作,所以作者还检查远概念与上游路线。

进一步解释

阈值为该单元最强语料例激活的30%;不是概率阈值。

教师备课:指图与模拟问答

指图与推进 · 不朗读依次读20单元图示与183单元完整测试,保留赢/平/输,不画跨协议进步线。

本态来源与条件

Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排

接下来

局部检查给了我们可失败的解释。最后再回读原文的审计比例与历史进展,判断这些数字到底压缩了什么。

补充推导、边界与来源

同一解释的命中与近失配

主图单元是 Qwen3-32B L36/N15664,解释为“东西或人已经答应给某一方,但尚未交付”,即 spoken for。命中句写小马还没出生,饲养者就已许诺给某马厩;near miss 保留小马、马厩与出生前的情境,却改成把母马送到马厩,并没有许诺归属。原图展示的两段文本前缀都止于 for,报告的响应分别为最强语料例的 81% 与 20%;可见来源未标注具体测量 token,不能把句末 for 当作已确认的测量位置。第二对葡萄酒预售约定与已经出售的例子为 43% 与 16%。

这些百分数是激活值相对于该单元最强语料例的比例,既不是答案概率,也不是“81%的句子理解正确”。两句只换关键条件,是为了减少用大类主题就能蒙对的可能,但仍不能证明唯一机制。

主图与完整样本的两个分母

主图展示最初 20 个单元;每个解释生成 5 个命中新例与 5 个近失配,因此各 100 条。以达到最强语料例的 30% 为强响应阈值,命中有 81/100,近失配 8/100;20 个单元的均值比较都在命中侧更强。

附录的完整测试从 gallery 随机取 200 个单元,其中 183 个解释描述正侧进入这一口径:命中新例强响应约 76%,近失配约 11%;逐单元比较赢 164、平 15、输 4。不能把主图的 81%/8%当成全部 183 单元的结果,也不能悄悄删除失败的 4 个。

这个测试不能单独解决 superposition

一个真正同时做 X 或 Y 的单元,也可能把“不属于 X 或 Y”的近失配拒绝得很好。因此 near miss 检查的是边界,不单独判定概念为什么共处。作者还让 agent 构造尽可能遥远的概念,每单元 5 条,这些文本强响应约 1%;183 个单元中有 179 个在这些文本上从未强响应。但“agent 想到的远概念”仍不是整个可能输入空间。

好的解释要接受多种批评:中心新例、相近反例、远概念、符号分区、上游构成和实际干预。本文据这些结果提出组织机制假说,仍不把它们变成全模型的完备证明。

来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,explanations-could-lose。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。

与本页相关的深入阅读

A12|近失配、遥远概念和盲测中心各检验什么

从 gallery 随机抽 200 个单元后,183 个解释描述正侧。agent 先只读解释,分别写五个应该激活的新例和五个近失配,再测响应;达到语料最强响应的 30% 算强。完整样本的新例强响应率为 76%、近失配为 11%,按单元计赢 164、平 15、输 4。主图展示前 20 个,81/100 对 8/100 是这个子集的数字,不能与整体混写。

近失配检查语义边界,却不能独自区分“X 或 Y”的任意打包;它对 X、Y 都可以有清楚边界。作者另让 agent 写最遥远概念,约 1% 达强响应,179/183 个单元没有一次强响应。有限构造仍不穷尽所有潜在用途。Blind maximum 测中心、近失配测边界、遥远概念挑战无关分支、路径与干预再问怎样发生;没有一个单分数替代其余工作。

原文 Explanations That Could Lose · GF23 · GF24

本页证据与条件

Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排

进入主题正文