# Lecture 06 · 来源与进一步阅读

以下页码均为 PDF 的物理页码，从第一页开始计数。课件文件名与封面 Lecture 编号可能不同，定位时以文件名和页码为准。课堂重排的机制图、显存算盘和小数值实验是教学构造；原图、原表和公开模型输出在采用处另行标明。

## 预训练、迁移与上下文学习

| 来源 | 阅读位置 | 课堂采用的证据 |
| --- | --- | --- |
| Radford 等，2018，[Improving Language Understanding by Generative Pre-Training](https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf) | p.8，Table 5 | MNLI 完整模型与去预训练消融的准确率对照；特定任务和训练条件下的结果。 |
| Brown 等，2020，[Language Models are Few-Shot Learners](https://arxiv.org/pdf/2005.14165v4)，v4 | p.9 Table 2.2；p.7 Figure 2.1；pp.14–15 §3.3、Table 3.4 | 数据量、采样权重与消费轮数；zero/one/few-shot 提示格式；WMT14 英译法 BLEU。提示示意与真实评测分别使用。 |
| Stanford CS224N 2026，[pretraining 课件](https://web.stanford.edu/class/cs224n/slides_w26/cs224n-2026-lecture07-pretraining.pdf) | pp.10–11、18–19、25–44、46–52 | 数据处理、预训练目标与上下文学习的课程解释。 |

## 从示范与反馈改变行为

| 来源 | 阅读位置 | 课堂采用的证据 |
| --- | --- | --- |
| Stanford CS224N 2026，[posttraining 课件](https://web.stanford.edu/class/cs224n/slides_w26/cs224n-2026-lecture08-posttraining.pdf) | pp.19–20；24–37 | FLAN-T5 指代歧义公开对照；偏好数据和 RLHF。课堂显示的是来源中的输出。 |
| Ouyang 等，2022，[Training Language Models to Follow Instructions with Human Feedback](https://arxiv.org/pdf/2203.02155v1)，v1 | p.3 Figure 2；pp.6、8–9 | SFT、奖励模型和 PPO 的分工；固定参考模型与 KL 约束。 |
| Rafailov 等，[Direct Preference Optimization](https://arxiv.org/pdf/2305.18290v3)，v3 | pp.3–4 | 由偏好对直接优化策略，区分可训练策略和参考模型。 |
| DeepSeek-AI，2025，[DeepSeek-R1](https://arxiv.org/pdf/2501.12948v1)，v1 | p.3；pp.5–6、9，§2.2–2.3 | R1-Zero 从预训练底座开始使用规则奖励；正式 R1 采用多阶段训练。 |

## 少量可训练参数与训练资源分配

| 来源 | 阅读位置 | 课堂采用的证据 |
| --- | --- | --- |
| Hu 等，2021，[LoRA](https://arxiv.org/pdf/2106.09685v2)，v2 | pp.4–5 | 冻结底座与低秩可训练增量。 |
| Dettmers 等，2023，[QLoRA](https://arxiv.org/pdf/2305.14314v1)，v1 | pp.3–5 | 低位数保存底座、反量化计算与适配器训练。 |
| Stanford CS224N 2026，[PEFT 课件](https://web.stanford.edu/class/cs224n/slides_w26/cs224n-2026-lecture09-peft.pdf) | pp.45–54 | LoRA 的计算路径与参数高效微调背景。 |
| Kaplan 等，2020，[Scaling Laws for Neural Language Models](https://arxiv.org/pdf/2001.08361v1)，v1 | p.4，Figure 2 | 同组训练曲线以 Tokens Processed 和 Compute (PF-days) 为横轴的比较。纵轴为 Test Loss。 |
| Hoffmann 等，2022，[Training Compute-Optimal Large Language Models](https://arxiv.org/pdf/2203.15556v1)，v1 | p.6 Figure 3；pp.8–9 | 固定训练 FLOPs 下参数与训练量的联合配置；Chinchilla/Gopher 整体配置比较。单预算画面是原图选择性呈现。 |

## 让训练装得下、跑得动

| 来源 | 阅读位置 | 课堂采用的证据 |
| --- | --- | --- |
| Rajbhandari 等，[ZeRO](https://arxiv.org/pdf/1910.02054v3)，v3 | p.8；pp.10–13，§5–7 | 混合精度 Adam 的模型状态、优化器/梯度/参数分片及通信。课堂 8B 模型、4 卡的 128→56→44→32 GB 是统一假设下的教学算盘。 |
| Dao 等，2022，[FlashAttention](https://arxiv.org/pdf/2205.14135v2)，v2 | pp.3–6，Algorithm 1、Figure 2 | 分块 IO、稳定在线 softmax 和反向重算；保持稠密 attention 的数学目标。 |
| CMU 11-868 LLM Systems Spring 2026，[课程讲义目录](https://llmsystem.github.io/llmsystem2026spring/docs/Syllabus/) | `llmsys-15-ddp` pp.6、13–19；`llmsys-16-model-parallel` pp.15–17、27–29；`llmsys-17-MoE` pp.5–10、15–19；`llmsys-18-zero` pp.6–12、34–41、51–55、64–65 | DDP、TP、PP、MoE 和 ZeRO 的系统解释；局部无需通信不代表整层或整个系统没有通信。 |
| 同一课程的 Tri Dao 客座课 `llmsys-21-FlashAttention_tridao2026.4` | pp.9–14 | FlashAttention 的硬件读写与分块直观解释。 |

## 网络内部的读取与选择

| 来源 | 阅读位置 | 课堂采用的证据 |
| --- | --- | --- |
| Goodfire / Nick Cammarata，[Neural Networks Are Already Clean](https://already-clean.goodfire.com/) | Cars and Animals，InceptionV1 4e:55 | 猫、车辆、圆脸照片、作者标定的响应局部、上下游邻居与优化特征图共同支持作者的形状解释。优化图不是照片或热图；这是视觉网络案例。 |
| Alex Wang，2026-10-15，[You could have invented transformers from memory](https://alexwang.ai/posts/associative-memory/) | 正文、相似度读取与干扰交互、脚注 | key/query/value 的关联读取、干扰与选择性；随机向量容量条件不直接等于模型事实容量。 |
| Geva 等，[Transformer Feed-Forward Layers Are Key-Value Memories](https://arxiv.org/pdf/2012.14913v2)，v2 | pp.1–2 | FFN 的参数记忆视角；与当前输入投影产生的 attention K/V 区分。 |

## 从单次生成到多人服务

| 来源 | 阅读位置 | 课堂采用的证据 |
| --- | --- | --- |
| CMU 11-868 LLM Systems Spring 2026，[课程讲义目录](https://llmsystem.github.io/llmsystem2026spring/docs/Syllabus/) | `llmsys-22-llm-serving-scheduler-radixattention` pp.19、23–30；`llmsys-24-vLLM_woosuk_kwon` pp.18–19、21、24–26 | 连续批处理、前缀共享和 PagedAttention 的 KV 分页。 |
| 同一课程的 Dynamo、LMCache、Mooncake、prefill/decode 客座课 | `llmsys-26-dynamo` pp.23、32–33、36–41；`llmsys-27-LMCache` pp.11–12、19–22、33；`llmsys-28-mooncake-kTransformer` pp.19、25、37、45–46；`llmsys-29-disaggregating_prefill_decode` pp.14–16、31、37–38 | 请求调度、KV 保存/恢复/传输、分离 prefill/decode。它们是不同职责的组件，可按部署需要选择与组合。 |
| Leviathan、Kalman、Matias，ICML 2023，[Fast Inference from Transformers via Speculative Decoding](https://proceedings.mlr.press/v202/leviathan23a.html) | PDF pp.2–3，§2、Algorithm 1 | 草稿、目标验证和拒绝后的分布校正。保持目标分布需要精确接受与残差采样规则；加速幅度取决于成本、接受率和硬件。 |

课程归属：上述 `llmsys-*` 附件来自 CMU 11-868 LLM Systems Spring 2026；它们不属于另一门使用 `mlsyscourse.org` 网址的课程。完整文件身份、原图局部位置和哈希保存在同目录的 `source-map.json`，供按版本核对。


## 第一节：关联记忆重建（2026-10-21）

主线参考 Alex Wang《[You could have invented transformers from memory](https://alexwang.ai/posts/associative-memory/)》（2026-10-15），以[独立来源说明](assets/experiments/memory/SOURCE-MAP.md)中的逐页链接为准。本课图表采用独立理论RMS复算和固定种子的图样实验，不冒充作者采样结果；代码、数值与核验清单在[复算资产目录](assets/experiments/memory/section1-data.json)。完整条件见[本节正文](topics/memory-capacity.html)。


## 首尾增补的概念依据

[BERT §3.1](https://arxiv.org/abs/1810.04805)核对遮挡位置的原始token目标；[GPT-3 §2](https://arxiv.org/abs/2005.14165)核对无梯度更新的上下文任务适应；[Scaling Laws §1–3](https://arxiv.org/abs/2001.08361)与[Chinchilla §3](https://arxiv.org/abs/2203.15556)分别核对规模经验关系与固定计算预算分配。开场使用关系示意，不伪造实测曲线或最佳比例。


# Goodfire · 原文、图像与实验口径

本节基于 [Goodfire 交互原文](https://already-clean.goodfire.com/) 及 [全文文本](https://already-clean.goodfire.com/essay.md)，读取日期为 2026-10-21。正文与全部附录均已纳入课堂或随页深入说明。原文把主要观点称为研究中的工作假说；课堂区分观测结果、作者解释和待检验范围，未重训原模型。

原图保留原作者权利。自然图像、响应裁剪、优化可视化和课堂概念示意分别标记。课堂重绘的箭头、数字示意和路径只承担注明的教学含义，不冒充原实验数据。

[完整主题阅读](topics/goodfire-internals.html) · [新增主讲入口](classroom/GF01.html?step=b0)

## 模型与比较条件

- 猫／车与旧可视化案例使用原文指定的 Inception；它们与 MAE 的分类迁移证据回答不同问题。
- 自训 ConvNeXt 规模比较、指定层压窄从头训练、SAE重建和消融是不同实验。各页保留各自模型、层、旁路控制和代价。
- Scar、Santa、Miyazaki、Kimi 与专家地图分别保留来源身份。精选解释不等于对全模型的完整覆盖。
- 盲测、近失配与因果干预约束不同类型的解释错误。审计比例不换算为整个模型已被理解的比例。
- 第一节联想记忆的条件化容量推导与本节对已训练网络的观察各有适用条件，原结论保留。

## 图像与深入阅读去向

此表给出原站精确锚点、课堂位置与保留的实验范围；主题阅读与本页说明承载较长推导。原站完整交互没有被声称全部复制。

| 原图 | 课堂位置 | 层次 | 保留范围 |
|---|---|---|---|
| [v-figure](https://already-clean.goodfire.com/#v-figure) | [GF02](classroom/GF02.html?step=b0) / [GF03](classroom/GF03.html?step=b0) / [GF04](classroom/GF04.html?step=b0) | 主屏 | 猫车局部、负侧、上下游；P05五态功能保留 |
| [car-circuit](https://already-clean.goodfire.com/#car-circuit) | [GF05](classroom/GF05.html?step=b0) | 主屏 | 自由和自然路径引导优化配对 |
| [pose-everywhere](https://already-clean.goodfire.com/#pose-everywhere) | [GF06](classroom/GF06.html?step=b0) | 主屏 | 模型与规模条件先交代 |
| [microscope-timeline](https://already-clean.goodfire.com/#microscope-timeline) | [GF07](classroom/GF07.html?step=b0) | 主屏 | 同单元不同工具 |
| [inception-last-layer](https://already-clean.goodfire.com/#inception-last-layer) | [GF07](classroom/GF07.html?step=b0) / [GF08](classroom/GF08.html?step=b0) | 主屏/说明 | 旧晚层参照 |
| [ladybug-figure](https://already-clean.goodfire.com/#ladybug-figure) | [GF08](classroom/GF08.html?step=b0) | 主屏 | 现代晚层自然例 |
| [neuron-overflow](https://already-clean.goodfire.com/#neuron-overflow) | [GF09](classroom/GF09.html?step=b0) | 主屏 | 实测训练checkpoint |
| [recursive-generalization](https://already-clean.goodfire.com/#recursive-generalization) | [GF09](classroom/GF09.html?step=b0) | 主屏 | 明确为概念分枝 |
| [route-split](https://already-clean.goodfire.com/#route-split) | [GF09](classroom/GF09.html?step=b0) / [GF21](classroom/GF21.html?step=b0) | 深入阅读 | 地质与Cesium分枝，不伪造训练时间轴 |
| [packing-vs-growing](https://already-clean.goodfire.com/#packing-vs-growing) | [GF10](classroom/GF10.html?step=b0) | 主屏 | 固定同一组对象的概念示意 |
| [pr-neuron](https://already-clean.goodfire.com/#pr-neuron) | [GF10](classroom/GF10.html?step=b0) | 深入阅读 | 解码与转写揭示观察盲点 |
| [colorado-neuron](https://already-clean.goodfire.com/#colorado-neuron) | [GF10](classroom/GF10.html?step=b0) / [GF19](classroom/GF19.html?step=b0) | 深入阅读 | 标点摘要与steering |
| [context-neuron](https://already-clean.goodfire.com/#context-neuron) | [GF10](classroom/GF10.html?step=b0) / [GF19](classroom/GF19.html?step=b0) | 深入阅读 | 缩短上下文导致误解 |
| [gate-neuron](https://already-clean.goodfire.com/#gate-neuron) | [GF11](classroom/GF11.html?step=b0) | 主屏 | 分流示意 |
| [car-path-distinctions](https://already-clean.goodfire.com/#car-path-distinctions) | [GF11](classroom/GF11.html?step=b0) | 主屏 | 单张跑车末五block精选路径 |
| [negative-poles](https://already-clean.goodfire.com/#negative-poles) | [GF12](classroom/GF12.html?step=b0) | 主屏 | 正负极成对 |
| [tiny-vehicles-positive](https://already-clean.goodfire.com/#tiny-vehicles-positive) | [GF12](classroom/GF12.html?step=b0) | 主屏 | 最小模型的较粗车辆区分 |
| [crushed-3b-figure](https://already-clean.goodfire.com/#crushed-3b-figure) | [GF13](classroom/GF13.html?step=b0) | 主屏 | 480→10、从头重训、无旁路 |
| [c3b-squeeze](https://already-clean.goodfire.com/#c3b-squeeze) | [GF14](classroom/GF14.html?step=b0) | 主屏 | 搜索细曲线与SAE代价 |
| [crushed-last-layer](https://already-clean.goodfire.com/#crushed-last-layer) | [GF14A](classroom/GF14A.html?step=b0) | 主屏 | 1024→13、阻断旁路、从头重训 |
| [ladybug-circuit](https://already-clean.goodfire.com/#ladybug-circuit) | [GF15](classroom/GF15.html?step=b0) | 主屏 | Monastery等晚层聚合节点/边 |
| [convnext-sae-residual](https://already-clean.goodfire.com/#convnext-sae-residual) | [GF16](classroom/GF16.html?step=b0) | 主屏 | 典型单元近复制与额外组合 |
| [rare-image-examples](https://already-clean.goodfire.com/#rare-image-examples) | [GF17](classroom/GF17.html?step=b0) | 深入阅读 | 异常图像经正常机制误读 |
| [umbrella-bee](https://already-clean.goodfire.com/#umbrella-bee) | [GF17](classroom/GF17.html?step=b0) | 主屏 | 伞错标蜂前后及干预 |
| [memorization-ramp](https://already-clean.goodfire.com/#memorization-ramp) | [GF17](classroom/GF17.html?step=b0) | 主屏/说明 | 旧路线接驳概念示意 |
| [weak-crowd-strip](https://already-clean.goodfire.com/#weak-crowd-strip) | [GF18](classroom/GF18.html?step=b0) | 深入阅读 | 单元响应分布，非总体 |
| [weak-close-calls](https://already-clean.goodfire.com/#weak-close-calls) | [GF18](classroom/GF18.html?step=b0) | 主屏 | 全18block、相等总激活量对照 |
| [five-circles](https://already-clean.goodfire.com/#five-circles) | [GF18](classroom/GF18.html?step=b0) | 深入阅读 | 五单元强响应语义辐射，原图可探索 |
| [preeclampsia-circuit](https://already-clean.goodfire.com/#preeclampsia-circuit) | [GF19](classroom/GF19.html?step=b0) / [GF20](classroom/GF20.html?step=b0) / [GF27](classroom/GF27.html?step=b0) | 主屏/说明 | 主讲选Scar/Santa，余例说明，不混跨模型图 |
| [wallet-compact](https://already-clean.goodfire.com/#wallet-compact) | [GF22](classroom/GF22.html?step=b0) | 主屏 | Kimi K3选例，未全审计 |
| [miyazaki-circuit](https://already-clean.goodfire.com/#miyazaki-circuit) | [GF21](classroom/GF21.html?step=b0) | 主屏 | 拼写→名字→关联的成品路径 |
| [double-negative-example](https://already-clean.goodfire.com/#double-negative-example) | [GF20](classroom/GF20.html?step=b0) | 主屏/说明 | Qwen3-32B L1/N20736 |
| [expert-organization](https://already-clean.goodfire.com/#expert-organization) | [GF22](classroom/GF22.html?step=b0) | 深入阅读 | Qwen3.6 10240专家摘要主题排序 |
| [blind-maximum](https://already-clean.goodfire.com/#blind-maximum) | [GF23](classroom/GF23.html?step=b0) | 主屏 | 第二agent只看解释，新输入实测 |
| [period-neuron-figure](https://already-clean.goodfire.com/#period-neuron-figure) | [GF25](classroom/GF25.html?step=b0) | 深入阅读 | 旧模型无法继续检查，候选解释 |
| [rs-jt](https://already-clean.goodfire.com/#rs-jt) | [GF26](classroom/GF26.html?step=b0) | 主屏 | 逐层位置共同UMAP与选样 |
| [attn-where](https://already-clean.goodfire.com/#attn-where) | [GF27](classroom/GF27.html?step=b0) | 深入阅读 | 信息搬运概念示意 |
| [attn-reads](https://already-clean.goodfire.com/#attn-reads) | [GF27](classroom/GF27.html?step=b0) | 主屏/说明 | 三L30头局部路线 |
| [attn-mutual](https://already-clean.goodfire.com/#attn-mutual) | [GF27](classroom/GF27.html?step=b0) | 深入阅读 | 原caption/脚本模型身份冲突须标注 |
| [recursive-explainability](https://already-clean.goodfire.com/#recursive-explainability) | [GF28](classroom/GF28.html?step=b0) | 深入阅读 | 原生机制多尺度示意 |
| [source-figure-17](https://already-clean.goodfire.com/#source-figure-17) | [GF28](classroom/GF28.html?step=b0) | 主屏 | 耳家族随规模变化 |
| [convnext-map-still](https://already-clean.goodfire.com/#convnext-map-still) | [GF29](classroom/GF29.html?step=b0) | 主屏 | 全图/局部，真实地图同一对象 |
| [many-agents](https://already-clean.goodfire.com/#many-agents) | [GF31](classroom/GF31.html?step=b0) | 主屏/说明 | 未来研究实验室愿景示意 |
| [swiglu-audit](https://already-clean.goodfire.com/#swiglu-audit) | [GF20](classroom/GF20.html?step=b0) | 深入阅读A04 | 单元626 retained-routing抽样 |
| [signs-figure](https://already-clean.goodfire.com/#signs-figure) | [GF20](classroom/GF20.html?step=b0) | 主屏/说明A04 | 四种符号，数值为构造 |
| [residual-explorer](https://already-clean.goodfire.com/#residual-explorer) | [GF26](classroom/GF26.html?step=b0) | 深入阅读A05 | 同4000位置，仅投影去112坐标 |
| [residual-stream-lenses](https://already-clean.goodfire.com/#residual-stream-lenses) | [GF26](classroom/GF26.html?step=b0) | 深入阅读A05 | readout时点依lens |
| [weak-ablation-grid](https://already-clean.goodfire.com/#weak-ablation-grid) | [GF18](classroom/GF18.html?step=b0) | 主屏/说明A06 | 单层与全部block操作区别 |
| [enemy-weak-activations](https://already-clean.goodfire.com/#enemy-weak-activations) | [GF18](classroom/GF18.html?step=b0) | 深入阅读A06 | 单元语义抽查非全局证明 |
| [curve-reconstruction](https://already-clean.goodfire.com/#curve-reconstruction) | [GF14](classroom/GF14.html?step=b0) / [GF16](classroom/GF16.html?step=b0) | 深入阅读A07 | 已有单元组成SAE曲线 |
| [dreary-connections](https://already-clean.goodfire.com/#dreary-connections) | [GF17](classroom/GF17.html?step=b0) / [GF21](classroom/GF21.html?step=b0) | 深入阅读A09 | 删除直接输出贡献vs整单元 |
| [psalm-recitation](https://already-clean.goodfire.com/#psalm-recitation) | [GF17](classroom/GF17.html?step=b0) / [GF21](classroom/GF21.html?step=b0) | 深入阅读A09 | 极强gate剪除，能力也退化 |
| [social-security-circuit](https://already-clean.goodfire.com/#social-security-circuit) | [GF21](classroom/GF21.html?step=b0) | 深入阅读A10 | probe检测vs运行时使用 |
| [explanations-could-lose](https://already-clean.goodfire.com/#explanations-could-lose) | [GF24](classroom/GF24.html?step=b0) | 主屏 | 20主图与183报告分开 |
| [edge-motifs](https://already-clean.goodfire.com/#edge-motifs) | [GF29](classroom/GF29.html?step=b0) / [GF31](classroom/GF31.html?step=b0) | 深入阅读A13 | 25000图、96对96模式 |
| [three-stories](https://already-clean.goodfire.com/#three-stories) | [GF31](classroom/GF31.html?step=b0) | 深入阅读A14 | 概念解释不是测量 |
| [circuit-race](https://already-clean.goodfire.com/#circuit-race) | [GF31](classroom/GF31.html?step=b0) | 深入阅读A14 | 误差竞争概念示意 |
| [one-image-logits](https://already-clean.goodfire.com/#one-image-logits) | [GF31](classroom/GF31.html?step=b0) | 深入阅读A14 | 一图学习主要颜色 |
| [one-example-generalization](https://already-clean.goodfire.com/#one-example-generalization) | [GF31](classroom/GF31.html?step=b0) | 深入阅读A14 | 十类各一图，颜色基线 |
| [racing-figure](https://already-clean.goodfire.com/#racing-figure) | [GF31](classroom/GF31.html?step=b0) | 深入阅读A15 | 两个完整网络共享目标 |
| [training-figure](https://already-clean.goodfire.com/#training-figure) | [GF09](classroom/GF09.html?step=b0) | 深入阅读A16 | 同坐标checkpoint自然例 |
| [toy-shared-diagonals](https://already-clean.goodfire.com/#toy-shared-diagonals) | [GF10](classroom/GF10.html?step=b0) / [GF31](classroom/GF31.html?step=b0) | 深入阅读A17 | 多任务共享几何toy |
| [toy-pca-density](https://already-clean.goodfire.com/#toy-pca-density) | [GF10](classroom/GF10.html?step=b0) / [GF31](classroom/GF31.html?step=b0) | 深入阅读A17 | 20输入4组5维+隐层toy |
| [source-figure-25](https://already-clean.goodfire.com/#source-figure-25) | [GF30](classroom/GF30.html?step=b0) | 主屏/说明A19 | mixed5a:719形状+未解语义残留 |


## 视觉中的规模扩展：原始证据与比较边界

以下均固定到已核对的论文版本；页码是从 PDF 第一页起计的物理页码。X01–X04 使用的原图、表值与条件如下。完整文件哈希、裁图坐标和复现脚本收录在源码的 `content/source-map.json`、`content/vision-source-map.json` 与 `scripts/extract_vision_evidence.py`。

| 来源编号与固定版本 | 原文位置 | 课堂与正文采用方式 |
| --- | --- | --- |
| `VISION_VIT` · Dosovitskiy 等，[An Image is Worth 16×16 Words](https://arxiv.org/pdf/2010.11929v2)，arXiv:2010.11929 **v2** | p.3 Figure 1；p.7 Figures 3、4、5 | X01 的 patch→token→Transformer 图是教学重绘，16 格仅为可读性示意；X02 保留 Figure 3 的原始坐标、模型标记与图例，依次查看 ImageNet 与 JFT-300M。Figures 4、5 放在本页说明与主题正文。 |
| `VISION_MAE` · He 等，[Masked Autoencoders Are Scalable Vision Learners](https://arxiv.org/pdf/2111.06377v3)，arXiv:2111.06377 **v3** | p.2 Figure 2；p.7 Table 3、Figure 8 | X03 使用原论文校车三联图的同一组原始像素，按遮挡图、重建图、原图揭示；X04 依据 Table 3 的六个数值重绘，原表可在正文核对。Figure 8 为补充证据。 |
| `VISION_CONVNEXT` · Liu 等，[A ConvNet for the 2020s](https://arxiv.org/pdf/2201.03545v2)，arXiv:2201.03545 **v2** | p.7 Table 1 | X02 的说明与主题正文保留卷积网络反例：ImageNet-22K 预训练、224 分辨率条件下，ConvNeXt T/S/B/L/XL 的 ImageNet-1K top-1 为 82.9/84.6/85.8/86.6/87.0。不能将 ViT 的证据概括为“CNN 不能 scale”。 |

ViT Figure 3 讨论不同预训练数据配置下的 ImageNet 迁移准确率。ImageNet、ImageNet-21k 与 JFT-300M 不仅数量不同，分布与标签体系也不同；它支持“比较规模收益必须写出条件”，不能单独识别只增加数据条数的因果效果，更不是架构永远胜负的证明。

MAE Figure 2 的展示使用 **80% 遮挡，196 个 patch 中可见 39 个**。这张展示图的条件不同于常见的 75% 训练遮挡率。重建图保留模型对整幅图的原始预测，没有用原图覆盖可见区域。图像补全展示了任务对象；表征是否可用，继续由下游评测检查。

### MAE Table 3：主舞台采用的唯一比较

| 模型 | 有监督从头训练（论文实现） | MAE 预训练后微调 | 差值（百分点） |
| --- | ---: | ---: | ---: |
| ViT-B/16 | 82.3 | 83.6 | +1.3 |
| ViT-L/16 | 82.6 | 85.9 | +3.3 |
| ViT-H/14 | 83.1 | 86.9 | +3.8 |

单位为 ImageNet-1K top-1 准确率（%），输入分辨率统一为 **224**。两组使用同一 ImageNet-1K 图像池，但**计算量不相同**：MAE 另有 1600 个预训练 epoch，再用标签微调。结论限于这套训练配方与评测条件：改变学习目标后，大模型的收益更明显。448 分辨率的 87.8 不混入这张比较。