预训练、规模扩展
与上下文学习

Transformer之后:信息怎样留下、怎样用出?

查询 A
key Avalue A
key Bvalue B

装得下,还要取得到。

从熟悉的术语,走向三个具体问题

承接上一讲的Transformer,先快速对齐预训练、Scaling Law与上下文学习,再把训练和使用接到可追踪的对象、可检验的证据与实际资源约束。

信息怎样记得住、读得出? 从同一个查询的读回变化,算清两条关联怎样串扰,以及怎样改变写入和读取。

学到了什么,怎样才算有证据? 先从视觉任务的真实结果与内部机制看学到了什么,再沿同一份文字记录走完目标、损失和参数更新。

算式怎样在机器上执行? 在有限预算下组织训练,管理一次请求的计算与缓存,再回到同一份材料。

展开整课目录

从Transformer继续追问

承载与读取

视觉中的训练证据

训练后的内部表示

计算、存储与搬运

文本预训练

当前示例与参数更新

有限预算中的取舍

一次更新的设备现场

一个请求的执行

用新证据改变判断

回收三问,继续验证