把课堂问题带进实验
从 CLS 00 导航开始,或直接选择下方本册。具体课堂页的材料入口会注明活动节名;打开 Notebook 后找到同名小节。
- CLS 00 · 第六讲实验导航
先按课堂问题找到本册和活动,再核对准备条件与证据类型。
- CLS 01 · 训练目标与资源账本
对齐本讲的 8B 配置,分别计算训练目标、参数状态与资源账本。
- LAB 01 · 记忆:写入、读回与容量
固定查询与目标,比较写入、读回、干扰、选择性和容量。
- LAB 02 · 视觉:学到了什么,怎样验证
区分训练、表示与独立评测;用配对干预和原研究图证检验解释。
- LAB 03 · 文本:目标、数据与参数更新
从前缀与目标到真实轻量 RNN 更新,再比较材料和计分位置。
- LAB 04 · 上下文:固定参数的对照
核对固定模型的输入与已保存输出,重新评分并检查结论边界。
- LAB 05 · 同一次更新,多个数据分片
将同一次更新拆到多个数据分片,比较局部梯度、汇总与参数更新。
- LAB 06 · 资源:预算、搬运与执行选择
从训练预算与内存状态走到注意力搬运、请求缓存和受约束选择。
LAB 03 保存真实轻量 RNN 的训练计算;LAB 04 保存 24 条真实小样本对照和独立的 6 条课堂诊断。原 192 请求材料是合成评分链路,不能当作 192 条真实模型结果。LAB 02 的原研究证据台用于审读保存图证,不重新测量原模型。
从课堂页找到具体活动
同一行涵盖该页列出的全部停点。链接进入对应本册,节名用于在本册内定位。
| 课堂页 | 活动小节 | 要做什么 |
|---|---|---|
| AR01 b0 / b1 / b2 | LAB 01 · M1 · 同一查询与目标,写得更多会怎样? | 固定查询、目标和记忆前缀,比较 M=1、16、64、256 的读回。这里是受控关联记忆计算。 |
| RG24 b0 / b1 / b2 | LAB 02 · V4 · 原研究证据台:预测、揭示,再审读边界 | 在 V4 选择 EVIDENCE_CASE="RG24",先写预测,再揭示原研究的近失配证据;本活动不重新测量模型激活。 |
| RC-P1 b0 / b1 / b2 | LAB 03 · T1 · 完整材料怎样产生多个预测目标? | 从同一 A/B 记录生成多组前缀与目标,区分教学切分和真实 tokenizer。 |
| RC-P2 b0 / b1 / b2 / b3 | LAB 03 · T1 · 完整材料怎样产生多个预测目标? | 检查 input、target、causal mask 及 BOS/EOS 对齐,说明各位置怎样使用同一组参数。 |
| RC-P3 b0 / b1 / b2 | LAB 03 · T2 · 一次 backward 和优化器步,究竟改变了什么? | 核对一次真实轻量 RNN 更新前后的参数、loss 和目标概率;不把教学计分预设为实测结果。 |
| RC-P4 b0 / b1 / b2 / b3 | LAB 03 · T3 · 预算相同,只改变反复出现的材料 LAB 04 · I2 · 对照能回答什么?先核输入,再看输出 | 比较成对输入与实际输出;把教师参考答案、轻量训练和独立诊断分别看待。 |
| RC-P5 b0 / b1 / b2 | LAB 03 · T3 · 预算相同,只改变反复出现的材料 LAB 06 · R1 · 固定计算预算,改变模型与训练量 | 区分材料库存、不同 token 和实际训练消费量,检查固定预算下材料提出的依赖。 |
| RC-P6 b0 / b1 / b2 / b3 | LAB 03 · T3 · 预算相同,只改变反复出现的材料 | 分别阅读 GPT-1 原表和课堂轻量模型结果,说明它们各自支持怎样的迁移判断。 |
| RC-A1 b0 / b1 / b2 | LAB 04 · I1 · 哪些东西在这次运行中没有改变? LAB 04 · I2 · 对照能回答什么?先核输入,再看输出 | 核对固定 checkpoint、输入和已保存输出。24 条真实 pilot、独立 6 条诊断与 192 条合成 fixture 分开。 |
| RC-A2 b0 / b1 / b2 | LAB 01 · M4 · 参数不变,内容可变;选择性也会放大错误 LAB 04 · I1 · 哪些东西在这次运行中没有改变? | 比较参数不变时的内容变化;将关联记忆构造与固定真实模型的记录分开。 |
| RC-A3 b0 / b1 / b2 | LAB 04 · I3 · 改一次分析条件,看看结论是否稳固 | 重算已有记录,检查分母和对照条件;D−C 不能单独代表示例的因果效应。 |
| RC-A4、RC-A5 b0 / b1 / b2 / b3 | LAB 03 · T4 · 只给回应计分,会改变可读范围吗? | 分别指出可读取的输入和计分位置:只给回应计分,不等于看不到用户输入。 |
| RC-A6 b0 / b1 / b2 | LAB 03 · T4 · 只给回应计分,会改变可读范围吗? LAB 04 · I2 · 对照能回答什么?先核输入,再看输出 LAB 04 · I3 · 改一次分析条件,看看结论是否稳固 | 区分修改权重与修改上下文,分别核对已有记录和能够支持的结论。 |
| CL03 b0 | LAB 06 · R5 · 先列可行集,再作一次真正会翻转的选择 | 使用 R5 账本说明当前为何选 A,以及改变哪个约束会改变选择。 |
怎样使用
先写预测,再按本册说明只改一个条件,比较结果并解释差异。重新评分已有输出与运行新的模型推理是两种不同动作;请先辨认当前活动需要哪一种。若页面内的跨本链接未能打开,可从项目侧栏选择同名 Notebook。
历史 R1 材料:4 本本地 Notebook 与原输出
这是早期独立教学计算与离线评分材料,编号与上方当前本册不同。前 3 本保存 CPU 教学计算与模拟;第 4 本的 192 请求输出为合成 dry-run,用于检验数据、请求和评分链路。