完整深入材料 · 保留原页与全部停点。回到相关主讲
没找回细曲线，究竟说明了什么？
本页问题
上一页的自然例显示“曲线与环”变宽。现在明确要寻找的目标：原层里十个有不同方向偏好的曲线检测器，能否从挤压层重新提取？
GF14/b0 · 先认清要找回的对象
上排是原 mixed3b 里的几个曲线检测器，下面是十通道模型里的“曲线与环”优化图。这里的图不再是自然照片，而是按作者可视化配方得到的优化图。原单元分别偏好不同角度；我们要问的是，这些细方向是否仍然能从十通道的活动中读出。
教师备课：指图与模拟问答
指图与推进 · 不朗读先指原始检测器及角度，再指挤压层单元6；明确图像类型切换。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
GF14/b1 · SAE 的最近匹配仍然很宽
作者在挤压层上训练稀疏自编码器，让它用更大字典重建活动，再为每个原始检测器找调谐形状最接近的字典特征。看这三对：原来的方向不同，找到的图却更宽、更混在一起；两个原检测器还会匹配到同一个特征。图像只是入口，真正的匹配使用了系统绘制的暗弧与调谐曲线。
进一步解释
TopK SAE共640特征，每位置2个激活特征，使用200,000张ImageNet训练图上的25.6M位置训练。按180个角度、2种曲率画暗弧，使用中心响应的调谐相关性选择最近匹配。原检测器半高宽24–56°，匹配44–174°；这里只展示三个目标，不伪装全部十个结果。
教师备课：指图与模拟问答
指图与推进 · 不朗读对应上排原检测器和下排匹配SAE；显示166°/184°共用174特征。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
GF14/b2 · 把寻找方法本身也检验
现在补上方法的代价：该SAE解释了留出位置百分之八十二的方差。把它实际插回模型，在同一组一万张验证图上，top-1 从百分之五十八点八降到四十三。这个代价很大，所以不能把“SAE没找回”当成一个无损观察器给出的绝对不存在证明。作者又尝试多个字典大小、激活数和种子，以及非线性读出，仍未得到原来的细曲线；这使粗化解释更有支持，但范围仍限定在这些检查。
进一步解释
原文还报告：原层SAE的同类控制可达到0.96–1.00形状相关；挤压层单位置最佳非线性读出与原检测器相关仅0.29–0.48。改变1–4个active、160或640字典、第二种子、去辅助loss，形状匹配中位0.47–0.63、照片匹配最高0.27。筛选放宽可找到较窄形状，但画弧响应弱、自然图匹配更差。这些控制排查部分方法局限，不构成穷尽所有可能解码器。
教师备课：指图与模拟问答
指图与推进 · 不朗读先读82%再读同一10k子集58.8→43.0；禁止与上一页50k 58.35混比。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
GF14/b3 · 另一项检查：原层 SAE 曲线由什么组成
最后看一个不同的实验，别与挤压模型混在一起：这里是原始 InceptionV1 层上的 SAE 特征5430。作者把它的解码方向拆开，主要成分落在已有曲线神经元343和357等处。图上的百分之九十七点五是这个特征解码方向落在曲线神经元上的份额，不是准确率。这个例子说明，字典里出现一个新图样，可能是既有组件的组合，尚不等于发现了新的基本积木。
进一步解释
Missing Curves附录分析了三个SAE特征，5430、5996、1634的曲线神经元份额分别为97.5%、98.0%、97.2%；图中只画主要正系数和省略项，并非完整解码向量。仅用曲线活动训练时，100k字典里可用到84k条目，说明组合数量不等于独立基本机制数量。
教师备课：指图与模拟问答
指图与推进 · 不朗读明确换回原层；沿SAE5430→3b343和357读，不与压缩图串成时间轴。
本态来源与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排
接下来
早层压缩也许仍不触及争论的重点。下一页把瓶颈移到另一个模型的最后一层。
补充推导、边界与来源
本页串联两个有明确边界的检查。前半是对挤压层的恢复实验，后半是Missing Curves附录对原层SAE的分解。它们回答不同问题，不能合并成一次重训时间线。
挤压层：原始mixed3b的十个曲线检测器各有方向调谐；在新10通道层训练640特征TopK SAE，每位置激活2项。训练取200k图、25.6M位置。82%是留出位置方差解释比例；将SAE插回网络后，10k验证集top-1从58.8%降至43.0%。模型准确率损失说明SAE观察并非无损。
调谐使用180角度×2曲率的细暗弧。原检测器半高宽24–56°，最近匹配44–174°，91个对弧响应最强的特征都未在反方向保持静默。3b:388与3b:324共用SAE174。作者还试了其他稀疏度、字典宽度、种子和辅助损失，结果仍较宽。必须把这些方法控制与未找回结果一起解释。
Missing Curves中，“SAE 5430→3b343系数202、3b357系数14、其余项”是解码方向分析；这些系数不是概率，不应加成100%。97.5%是落在曲线神经元上的方向份额。将大量组合误计作基本积木，会把字典条目数量和机制数量混淆。
来源：Nick Cammarata，2026，Neural Networks Are Already Clean，Goodfire。c3b-squeeze · curve-reconstruction。原图及研究结果归原作者；本课选取、裁剪或重排固定状态，未重新运行训练或消融实验。
与本页相关的深入阅读
A07｜“找到了更多曲线”可能是什么
Missing Curves 的争论在于 SAE 发现的是新的基本构件，还是原有曲线响应单元的组合。本文示例将三个 SAE 曲线拆回既有单元，落在曲线单元方向上的比例为 97.5%、98.0%、97.2%；这是特定分解结果，不能改称整层可解释率。只用曲线激活训练的 100k 字典使用了约 84k 条目，说明可以得到很多组合。组合真实存在，但条目多不自动证明基本构件同样多。这个实验与 GF14 压缩层的 SAE 搜索是两个不同问题。
本页证据与条件
Goodfire · 2026 · 原文结果；固定状态据原图重排