本页学习说明
原文What Neurons Do Under Pressure与#crushed-last-layer展示medium ConvNeXt末层1024→13的独立重训实验,并在正文说明阻止残差绕行。该图没有给出足够信息报告与上页完全一致的准确率比较,本课不补造其成绩。
主讲固定选中id=3,原图名“Transit & small mammals”。正例的原标签为trolleybus、electric locomotive、Dandie Dinmont、police van;负例四张均为Scotch terrier。原元数据指出,最强图像并不能穷尽功能,消融对streetcars、mailbags、backpacks也有影响。原站另有12个单元供切换,本课把全部13个正侧概览保留为入口,不声称完整搬运原站所有响应热图交互。
两个压缩实验共同支持作者对“压力下变宽”的解释,但实验架构和层位不同,不能把两个结果作为单一严格控制的因果拆分。
来源:Nick Cammarata,2026,Neural Networks Are Already Clean,Goodfire。crushed-last-layer。原图及研究结果归原作者;本课选取、裁剪或重排固定状态,未重新运行训练或消融实验。
阅读完整讲义