查询 A
key Avalue A
key Bvalue B
装得下,还要取得到。
从熟悉的术语,走向三个具体问题
承接上一讲的Transformer,先快速对齐预训练、Scaling Law与上下文学习,再把训练和使用接到可追踪的对象、可检验的证据与实际资源约束。
信息怎样记得住、读得出? 从同一个查询的读回变化,算清两条关联怎样串扰,以及怎样改变写入和读取。
学到了什么,怎样才算有证据? 先从视觉任务的真实结果与内部机制看学到了什么,再沿同一份文字记录走完目标、损失和参数更新。
算式怎样在机器上执行? 在有限预算下组织训练,管理一次请求的计算与缓存,再回到同一份材料。