返回课堂

Lecture 06 · 来源与进一步阅读

以下页码均为 PDF 的物理页码，从第一页开始计数。课件文件名与封面 Lecture 编号可能不同，定位时以文件名和页码为准。课堂重排的机制图、显存算盘和小数值实验是教学构造；原图、原表和公开模型输出在采用处另行标明。

预训练、迁移与上下文学习

来源 阅读位置 课堂采用的证据
Radford 等，2018，Improving Language Understanding by Generative Pre-Training p.8，Table 5 MNLI 完整模型与去预训练消融的准确率对照；特定任务和训练条件下的结果。
Brown 等，2020，Language Models are Few-Shot Learners，v4 p.9 Table 2.2；p.7 Figure 2.1；pp.14–15 §3.3、Table 3.4 数据量、采样权重与消费轮数；zero/one/few-shot 提示格式；WMT14 英译法 BLEU。提示示意与真实评测分别使用。
Stanford CS224N 2026，pretraining 课件 pp.10–11、18–19、25–44、46–52 数据处理、预训练目标与上下文学习的课程解释。

从示范与反馈改变行为

来源 阅读位置 课堂采用的证据
Stanford CS224N 2026，posttraining 课件 pp.19–20；24–37 FLAN-T5 指代歧义公开对照；偏好数据和 RLHF。课堂显示的是来源中的输出。
Ouyang 等，2022，Training Language Models to Follow Instructions with Human Feedback，v1 p.3 Figure 2；pp.6、8–9 SFT、奖励模型和 PPO 的分工；固定参考模型与 KL 约束。
Rafailov 等，Direct Preference Optimization，v3 pp.3–4 由偏好对直接优化策略，区分可训练策略和参考模型。
DeepSeek-AI，2025，DeepSeek-R1，v1 p.3；pp.5–6、9，§2.2–2.3 R1-Zero 从预训练底座开始使用规则奖励；正式 R1 采用多阶段训练。

少量可训练参数与训练资源分配

来源 阅读位置 课堂采用的证据
Hu 等，2021，LoRA，v2 pp.4–5 冻结底座与低秩可训练增量。
Dettmers 等，2023，QLoRA，v1 pp.3–5 低位数保存底座、反量化计算与适配器训练。
Stanford CS224N 2026，PEFT 课件 pp.45–54 LoRA 的计算路径与参数高效微调背景。
Kaplan 等，2020，Scaling Laws for Neural Language Models，v1 p.4，Figure 2 同组训练曲线以 Tokens Processed 和 Compute (PF-days) 为横轴的比较。纵轴为 Test Loss。
Hoffmann 等，2022，Training Compute-Optimal Large Language Models，v1 p.6 Figure 3；pp.8–9 固定训练 FLOPs 下参数与训练量的联合配置；Chinchilla/Gopher 整体配置比较。单预算画面是原图选择性呈现。

让训练装得下、跑得动

来源 阅读位置 课堂采用的证据
Rajbhandari 等，ZeRO，v3 p.8；pp.10–13，§5–7 混合精度 Adam 的模型状态、优化器/梯度/参数分片及通信。课堂 8B 模型、4 卡的 128→56→44→32 GB 是统一假设下的教学算盘。
Dao 等，2022，FlashAttention，v2 pp.3–6，Algorithm 1、Figure 2 分块 IO、稳定在线 softmax 和反向重算；保持稠密 attention 的数学目标。
CMU 11-868 LLM Systems Spring 2026，课程讲义目录 llmsys-15-ddp pp.6、13–19；llmsys-16-model-parallel pp.15–17、27–29；llmsys-17-MoE pp.5–10、15–19；llmsys-18-zero pp.6–12、34–41、51–55、64–65 DDP、TP、PP、MoE 和 ZeRO 的系统解释；局部无需通信不代表整层或整个系统没有通信。
同一课程的 Tri Dao 客座课 llmsys-21-FlashAttention_tridao2026.4 pp.9–14 FlashAttention 的硬件读写与分块直观解释。

网络内部的读取与选择

来源 阅读位置 课堂采用的证据
Goodfire / Nick Cammarata，Neural Networks Are Already Clean Cars and Animals，InceptionV1 4e:55 猫、车辆、圆脸照片、作者标定的响应局部、上下游邻居与优化特征图共同支持作者的形状解释。优化图不是照片或热图；这是视觉网络案例。
Alex Wang，2026-10-15，You could have invented transformers from memory 正文、相似度读取与干扰交互、脚注 key/query/value 的关联读取、干扰与选择性；随机向量容量条件不直接等于模型事实容量。
Geva 等，Transformer Feed-Forward Layers Are Key-Value Memories，v2 pp.1–2 FFN 的参数记忆视角；与当前输入投影产生的 attention K/V 区分。

从单次生成到多人服务

来源 阅读位置 课堂采用的证据
CMU 11-868 LLM Systems Spring 2026，课程讲义目录 llmsys-22-llm-serving-scheduler-radixattention pp.19、23–30；llmsys-24-vLLM_woosuk_kwon pp.18–19、21、24–26 连续批处理、前缀共享和 PagedAttention 的 KV 分页。
同一课程的 Dynamo、LMCache、Mooncake、prefill/decode 客座课 llmsys-26-dynamo pp.23、32–33、36–41；llmsys-27-LMCache pp.11–12、19–22、33；llmsys-28-mooncake-kTransformer pp.19、25、37、45–46；llmsys-29-disaggregating_prefill_decode pp.14–16、31、37–38 请求调度、KV 保存/恢复/传输、分离 prefill/decode。它们是不同职责的组件，可按部署需要选择与组合。
Leviathan、Kalman、Matias，ICML 2023，Fast Inference from Transformers via Speculative Decoding PDF pp.2–3，§2、Algorithm 1 草稿、目标验证和拒绝后的分布校正。保持目标分布需要精确接受与残差采样规则；加速幅度取决于成本、接受率和硬件。

课程归属：上述 llmsys-* 附件来自 CMU 11-868 LLM Systems Spring 2026；它们不属于另一门使用 mlsyscourse.org 网址的课程。完整文件身份、原图局部位置和哈希保存在同目录的 source-map.json，供按版本核对。

第一节：关联记忆重建（2026-10-21）

主线参考 Alex Wang《You could have invented transformers from memory》（2026-10-15），以独立来源说明中的逐页链接为准。本课图表采用独立理论RMS复算和固定种子的图样实验，不冒充作者采样结果；代码、数值与核验清单在复算资产目录。完整条件见本节正文。

首尾增补的概念依据

BERT §3.1核对遮挡位置的原始token目标；GPT-3 §2核对无梯度更新的上下文任务适应；Scaling Laws §1–3与Chinchilla §3分别核对规模经验关系与固定计算预算分配。开场使用关系示意，不伪造实测曲线或最佳比例。

Goodfire · 原文、图像与实验口径

本节基于 Goodfire 交互原文 及 全文文本，读取日期为 2026-10-21。正文与全部附录均已纳入课堂或随页深入说明。原文把主要观点称为研究中的工作假说；课堂区分观测结果、作者解释和待检验范围，未重训原模型。

原图保留原作者权利。自然图像、响应裁剪、优化可视化和课堂概念示意分别标记。课堂重绘的箭头、数字示意和路径只承担注明的教学含义，不冒充原实验数据。

完整主题阅读 · 新增主讲入口

模型与比较条件

图像与深入阅读去向

此表给出原站精确锚点、课堂位置与保留的实验范围；主题阅读与本页说明承载较长推导。原站完整交互没有被声称全部复制。

原图 课堂位置 层次 保留范围
v-figure GF02 / GF03 / GF04 主屏 猫车局部、负侧、上下游；P05五态功能保留
car-circuit GF05 主屏 自由和自然路径引导优化配对
pose-everywhere GF06 主屏 模型与规模条件先交代
microscope-timeline GF07 主屏 同单元不同工具
inception-last-layer GF07 / GF08 主屏/说明 旧晚层参照
ladybug-figure GF08 主屏 现代晚层自然例
neuron-overflow GF09 主屏 实测训练checkpoint
recursive-generalization GF09 主屏 明确为概念分枝
route-split GF09 / GF21 深入阅读 地质与Cesium分枝，不伪造训练时间轴
packing-vs-growing GF10 主屏 固定同一组对象的概念示意
pr-neuron GF10 深入阅读 解码与转写揭示观察盲点
colorado-neuron GF10 / GF19 深入阅读 标点摘要与steering
context-neuron GF10 / GF19 深入阅读 缩短上下文导致误解
gate-neuron GF11 主屏 分流示意
car-path-distinctions GF11 主屏 单张跑车末五block精选路径
negative-poles GF12 主屏 正负极成对
tiny-vehicles-positive GF12 主屏 最小模型的较粗车辆区分
crushed-3b-figure GF13 主屏 480→10、从头重训、无旁路
c3b-squeeze GF14 主屏 搜索细曲线与SAE代价
crushed-last-layer GF14A 主屏 1024→13、阻断旁路、从头重训
ladybug-circuit GF15 主屏 Monastery等晚层聚合节点/边
convnext-sae-residual GF16 主屏 典型单元近复制与额外组合
rare-image-examples GF17 深入阅读 异常图像经正常机制误读
umbrella-bee GF17 主屏 伞错标蜂前后及干预
memorization-ramp GF17 主屏/说明 旧路线接驳概念示意
weak-crowd-strip GF18 深入阅读 单元响应分布，非总体
weak-close-calls GF18 主屏 全18block、相等总激活量对照
five-circles GF18 深入阅读 五单元强响应语义辐射，原图可探索
preeclampsia-circuit GF19 / GF20 / GF27 主屏/说明 主讲选Scar/Santa，余例说明，不混跨模型图
wallet-compact GF22 主屏 Kimi K3选例，未全审计
miyazaki-circuit GF21 主屏 拼写→名字→关联的成品路径
double-negative-example GF20 主屏/说明 Qwen3-32B L1/N20736
expert-organization GF22 深入阅读 Qwen3.6 10240专家摘要主题排序
blind-maximum GF23 主屏 第二agent只看解释，新输入实测
period-neuron-figure GF25 深入阅读 旧模型无法继续检查，候选解释
rs-jt GF26 主屏 逐层位置共同UMAP与选样
attn-where GF27 深入阅读 信息搬运概念示意
attn-reads GF27 主屏/说明 三L30头局部路线
attn-mutual GF27 深入阅读 原caption/脚本模型身份冲突须标注
recursive-explainability GF28 深入阅读 原生机制多尺度示意
source-figure-17 GF28 主屏 耳家族随规模变化
convnext-map-still GF29 主屏 全图/局部，真实地图同一对象
many-agents GF31 主屏/说明 未来研究实验室愿景示意
swiglu-audit GF20 深入阅读A04 单元626 retained-routing抽样
signs-figure GF20 主屏/说明A04 四种符号，数值为构造
residual-explorer GF26 深入阅读A05 同4000位置，仅投影去112坐标
residual-stream-lenses GF26 深入阅读A05 readout时点依lens
weak-ablation-grid GF18 主屏/说明A06 单层与全部block操作区别
enemy-weak-activations GF18 深入阅读A06 单元语义抽查非全局证明
curve-reconstruction GF14 / GF16 深入阅读A07 已有单元组成SAE曲线
dreary-connections GF17 / GF21 深入阅读A09 删除直接输出贡献vs整单元
psalm-recitation GF17 / GF21 深入阅读A09 极强gate剪除，能力也退化
social-security-circuit GF21 深入阅读A10 probe检测vs运行时使用
explanations-could-lose GF24 主屏 20主图与183报告分开
edge-motifs GF29 / GF31 深入阅读A13 25000图、96对96模式
three-stories GF31 深入阅读A14 概念解释不是测量
circuit-race GF31 深入阅读A14 误差竞争概念示意
one-image-logits GF31 深入阅读A14 一图学习主要颜色
one-example-generalization GF31 深入阅读A14 十类各一图，颜色基线
racing-figure GF31 深入阅读A15 两个完整网络共享目标
training-figure GF09 深入阅读A16 同坐标checkpoint自然例
toy-shared-diagonals GF10 / GF31 深入阅读A17 多任务共享几何toy
toy-pca-density GF10 / GF31 深入阅读A17 20输入4组5维+隐层toy
source-figure-25 GF30 主屏/说明A19 mixed5a:719形状+未解语义残留

视觉中的规模扩展：原始证据与比较边界

以下均固定到已核对的论文版本；页码是从 PDF 第一页起计的物理页码。X01–X04 使用的原图、表值与条件如下。完整文件哈希、裁图坐标和复现脚本收录在源码的 content/source-map.json、content/vision-source-map.json 与 scripts/extract_vision_evidence.py。

来源编号与固定版本 原文位置 课堂与正文采用方式
VISION_VIT · Dosovitskiy 等，An Image is Worth 16×16 Words，arXiv:2010.11929 v2 p.3 Figure 1；p.7 Figures 3、4、5 X01 的 patch→token→Transformer 图是教学重绘，16 格仅为可读性示意；X02 保留 Figure 3 的原始坐标、模型标记与图例，依次查看 ImageNet 与 JFT-300M。Figures 4、5 放在本页说明与主题正文。
VISION_MAE · He 等，Masked Autoencoders Are Scalable Vision Learners，arXiv:2111.06377 v3 p.2 Figure 2；p.7 Table 3、Figure 8 X03 使用原论文校车三联图的同一组原始像素，按遮挡图、重建图、原图揭示；X04 依据 Table 3 的六个数值重绘，原表可在正文核对。Figure 8 为补充证据。
VISION_CONVNEXT · Liu 等，A ConvNet for the 2020s，arXiv:2201.03545 v2 p.7 Table 1 X02 的说明与主题正文保留卷积网络反例：ImageNet-22K 预训练、224 分辨率条件下，ConvNeXt T/S/B/L/XL 的 ImageNet-1K top-1 为 82.9/84.6/85.8/86.6/87.0。不能将 ViT 的证据概括为“CNN 不能 scale”。

ViT Figure 3 讨论不同预训练数据配置下的 ImageNet 迁移准确率。ImageNet、ImageNet-21k 与 JFT-300M 不仅数量不同，分布与标签体系也不同；它支持“比较规模收益必须写出条件”，不能单独识别只增加数据条数的因果效果，更不是架构永远胜负的证明。

MAE Figure 2 的展示使用 80% 遮挡，196 个 patch 中可见 39 个。这张展示图的条件不同于常见的 75% 训练遮挡率。重建图保留模型对整幅图的原始预测，没有用原图覆盖可见区域。图像补全展示了任务对象；表征是否可用，继续由下游评测检查。

MAE Table 3：主舞台采用的唯一比较

模型 有监督从头训练（论文实现） MAE 预训练后微调 差值（百分点）
ViT-B/16 82.3 83.6 +1.3
ViT-L/16 82.6 85.9 +3.3
ViT-H/14 83.1 86.9 +3.8

单位为 ImageNet-1K top-1 准确率（%），输入分辨率统一为 224。两组使用同一 ImageNet-1K 图像池，但计算量不相同：MAE 另有 1600 个预训练 epoch，再用标签微调。结论限于这套训练配方与评测条件：改变学习目标后，大模型的收益更明显。448 分辨率的 87.8 不混入这张比较。