本页学习说明
本页串联两个有明确边界的检查。前半是对挤压层的恢复实验，后半是Missing Curves附录对原层SAE的分解。它们回答不同问题，不能合并成一次重训时间线。
挤压层：原始mixed3b的十个曲线检测器各有方向调谐；在新10通道层训练640特征TopK SAE，每位置激活2项。训练取200k图、25.6M位置。82%是留出位置方差解释比例；将SAE插回网络后，10k验证集top-1从58.8%降至43.0%。模型准确率损失说明SAE观察并非无损。
调谐使用180角度×2曲率的细暗弧。原检测器半高宽24–56°，最近匹配44–174°，91个对弧响应最强的特征都未在反方向保持静默。3b:388与3b:324共用SAE174。作者还试了其他稀疏度、字典宽度、种子和辅助损失，结果仍较宽。必须把这些方法控制与未找回结果一起解释。
Missing Curves中，“SAE 5430→3b343系数202、3b357系数14、其余项”是解码方向分析；这些系数不是概率，不应加成100%。97.5%是落在曲线神经元上的方向份额。将大量组合误计作基本积木，会把字典条目数量和机制数量混淆。
来源：Nick Cammarata，2026，Neural Networks Are Already Clean，Goodfire。c3b-squeeze · curve-reconstruction。原图及研究结果归原作者；本课选取、裁剪或重排固定状态，未重新运行训练或消融实验。
与本页相关的深入阅读
A07｜“找到了更多曲线”可能是什么
Missing Curves 的争论在于 SAE 发现的是新的基本构件，还是原有曲线响应单元的组合。本文示例将三个 SAE 曲线拆回既有单元，落在曲线单元方向上的比例为 97.5%、98.0%、97.2%；这是特定分解结果，不能改称整层可解释率。只用曲线激活训练的 100k 字典使用了约 84k 条目，说明可以得到很多组合。组合真实存在，但条目多不自动证明基本构件同样多。这个实验与 GF14 压缩层的 SAE 搜索是两个不同问题。
原文 Missing Curves · GF14
阅读完整讲义