返回课堂

句子很像,关系还一样吗?

本页问题

现在换到另一个单元 L36/N15664,检查解释的边界。前页 action 单元是 L8/N5247;这里 spoken for 的候选含义是已经许诺归属、尚未交付。两个原文文本前缀保留相近题材,却分别说许诺小马归属与运输母马;相对激活的差异检验关系判断,而非仅识别“马”这个主题。

RG24/b0 · 先明确两个关系条件

换一个单元 · Qwen3-32B L36/N15664 · “spoken for”已承诺给某一方,但尚未交付原文展示的文本前缀Before the foal was even born, the breeder had alreadypromised it to the sheikh's racing stable for承诺的是小马的归属小马尚未出生 → 尚未交付如果只发生运输,关系还成立吗?
先明确两个关系条件

上一页检验了 action 的中心新例。现在换到另一个单元,检验 spoken for 的边界:东西或人已经许诺给某一方,但尚未交付。原文展示的英文前缀说小马还没出生,饲养者就已许诺把它交给某马厩。它同时满足归属承诺和尚未交付。前缀停在for是原图的展示形式,不是让我们补写答案。我们先根据已经出现的关系作预测,再看相近却不满足关系的输入。

进一步解释

原文figure #explanations-could-lose确实把文本展示到for为止;这里保留其前缀身份,不补写后续。现有正文与图例没有明确标出这对例子的峰值token、索引或取值位置,因此不将最后的for另标成已知测量token。

教师备课:指图与模拟问答

指图与推进 · 不朗读先指页眉,说明已从 action 换到 spoken for 单元;再指承诺归属/尚未交付,读命中句,暂不揭示响应。

本态来源与条件

Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排

RG24/b1 · 只改变关键关系

换一个单元 · Qwen3-32B L36/N15664 · “spoken for”已承诺给某一方,但尚未交付原文展示的文本前缀Before the foal was even born, the breeder had alreadypromised it to the sheikh's racing stable forBefore the foal was even born, the breeder had alreadydriven the mare to the sheikh's racing stable for承诺小马归属运输母马新例81%近失配20%相对该单元最强语料例的激活
只改变关键关系

第二个前缀保留小马、出生前与马厩,改为把母马运过去。promised it描述小马归属的许诺,driven the mare只说明母马发生运输。原测量分别为最强语料例激活的百分之八十一和百分之二十,区分的是关系而不只是题材。百分之二十仍有响应,但低于原测试百分之三十的强响应阈值;它不是理解准确率,也不是答案概率。

进一步解释

promised it描述对小马归属的承诺;driven the mare描述运输母马。原图相对激活为81%和20%,分母是该单元最强语料例。20%并不等于零,它低于完整测试使用的30%强响应阈值。

教师备课:指图与模拟问答

指图与推进 · 不朗读先比较两段英文的promised it与driven the mare,区分承诺对象与运输对象;随后读相对激活条81%/20%,不另造token位置高亮。

本态来源与条件

Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排

RG24/b2 · 把失败也放回完整样本

Qwen3-32B · 近失配测试 · 完整样本183 个正侧解释随机抽取 200 个单元 → 其中 183 个解释描述正侧每个解释:5 个新例,5 个近失配命中新例近失配76%11%强响应:达到该单元最强语料例激活的 30%逐单元比较:164 赢 15 平 4 输
把失败也放回完整样本

接下来换到完整样本,不再只看刚才的单元。随机抽取的二百个单元中,一百八十三个解释描述正侧,进入这一测试口径;每个都有五个新例和五个近失配。以最强语料例激活的百分之三十为阈值,强响应率是百分之七十六和百分之十一。逐单元比较,有一百六十四个赢、十五个平,也有四个输了。这比只列成功例更有信息。近失配主要检验边界,若单元还有别的工作,仍需检查那些方向和实际作用。

进一步解释

183是随机抽出的200个单元中解释描述正侧的子集,每个解释各有5个新例与5个近失配。76%和11%是这些输入达到30%阈值的比例;164/15/4是逐单元比较的赢/平/输,分母与输入条数不同。

教师备课:指图与模拟问答

指图与推进 · 不朗读先指页眉从单例切换到完整样本,再读183正侧解释这一分母、76%/11%与4个失败;条件与阈值就在图旁。前20单元子集留深入材料,不混作同一统计。

本态来源与条件

Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排

接下来

带着局部检验的尺度,回头读总体估计。

补充推导、边界与来源

同一解释的命中与近失配

本页换到另一个单元;前页 action 的中心命中与这里的边界测试不属于同一单元。主图单元是 Qwen3-32B L36/N15664,解释为“东西或人已经答应给某一方,但尚未交付”,即 spoken for。命中句写小马还没出生,饲养者就已许诺给某马厩;near miss 保留小马、马厩与出生前的情境,却改成把母马送到马厩,并没有许诺归属。原图给这两个文本前缀报告的响应分别为最强语料例的 81% 与 20%。第二对葡萄酒预售约定与已经出售的例子为 43% 与 16%。

这些百分数是激活值相对于该单元最强语料例的比例,既不是答案概率,也不是“81%的句子理解正确”。两句只换关键条件,是为了减少用大类主题就能蒙对的可能,但仍不能证明唯一机制。

文本前缀与测量位置

原图的两个英文片段都止于 for,葡萄酒例止于 at;这就是原文提供的展示内容,不在课堂替实验续写。原文正文、图注和该对例子的HTML没有明确标出峰值token、token索引或取值位置,因而只能核定文本展示与相对激活读数,不能把最后一个词直接宣布为测量位置。

主图与完整样本的两个分母

主图展示最初 20 个单元;每个解释生成 5 个命中新例与 5 个近失配,因此各 100 条。以达到最强语料例的 30% 为强响应阈值,命中有 81/100,近失配 8/100;20 个单元的均值比较都在命中侧更强。

附录的完整测试从 gallery 随机取 200 个单元,其中 183 个解释描述正侧进入这一口径:命中新例强响应约 76%,近失配约 11%;逐单元比较赢 164、平 15、输 4。不能把主图的 81%/8%当成全部 183 单元的结果,也不能悄悄删除失败的 4 个。

这个测试不能单独解决 superposition

一个真正同时做 X 或 Y 的单元,也可能把“不属于 X 或 Y”的近失配拒绝得很好。因此 near miss 检查的是边界,不单独判定概念为什么共处。作者还让 agent 构造尽可能遥远的概念,每单元 5 条,这些文本强响应约 1%;183 个单元中有 179 个在这些文本上从未强响应。但“agent 想到的远概念”仍不是整个可能输入空间。

好的解释要接受多种批评:中心新例、相近反例、远概念、符号分区、上游构成和实际干预。本文据这些结果提出组织机制假说,仍不把它们变成全模型的完备证明。

来源:Nick Cammarata(与 Curt Tigges 合作语言部分),2026,Neural Networks Are Already Clean,Goodfire,explanations-could-lose。本课呈现原文结果及据原图数据重排的选定状态;没有重新运行模型实验。原作者权利保留。

与本页相关的深入阅读

A12|近失配、遥远概念和盲测中心各检验什么

从 gallery 随机抽 200 个单元后,183 个解释描述正侧。agent 先只读解释,分别写五个应该激活的新例和五个近失配,再测响应;达到语料最强响应的 30% 算强。完整样本的新例强响应率为 76%、近失配为 11%,按单元计赢 164、平 15、输 4。主图展示前 20 个,81/100 对 8/100 是这个子集的数字,不能与整体混写。

近失配检查语义边界,却不能独自区分“X 或 Y”的任意打包;它对 X、Y 都可以有清楚边界。作者另让 agent 写最遥远概念,约 1% 达强响应,179/183 个单元没有一次强响应。有限构造仍不穷尽所有潜在用途。Blind maximum 测中心、近失配测边界、遥远概念挑战无关分支、路径与干预再问怎样发生;没有一个单分数替代其余工作。

原文 Explanations That Could Lose · GF23 · GF24

继续沿这个问题阅读

本例的完整图、原逐态说明与推导。

前20个单元的子集与完整统计对照画面。此处保留两个分母供核对;本页课堂统计只使用183个正侧解释口径。

本页证据与条件

Goodfire · explanations-could-lose · 原文实验/图数据;据原图重排

进入主题正文