跳到课堂画面
第一问:写进去之后,怎样还能读回来?
第一问:写进去之后,怎样还能读回来?
正在载入课堂画面…
本讲目录
返回课堂
从Transformer继续追问
OV01 · Transformer 搭起来了,能力还需要怎样解释?
OV02 · 预训练、后续适配与使用,分别在改变什么?
OV03 · 预测下一个词,或恢复遮住的内容
OV04 · Scaling Law 让我们看见投入与效果的关系
OV05 · 给几个例子,模型这一次改变了什么?
OV06 · “预测与压缩”的直觉,还留下什么问题?
OV07 · 第一问:写进去之后,怎样还能读回来?
OV08 · 第二问:它学到了什么,怎样才算有证据?
OV09 · 第三问:算式成立,机器怎样把它算完?
OV10 · 先看清承载与证据,再回到文本训练
承载与读取
AR01 · 写进去了,为什么还可能用不上?
AR02 · 读 A 时,为什么 B 也出来了?
AR03 · 可以扩大空间,也可以改写入和读取
AR04 · 同样大小的 W,可以把两条都读对
AR05 · 让弱匹配在汇总前少出力
AR06 · 从已经发生的运算中,认出 MLP
AR07 · 指数拉开比例,softmax给出分配
AR08 · 同一实验里,读取规则改变了多少?
AR09 · 参数没变,这次可读的内容可以变
AR10 · 把结构上的可能性,交给真实训练检验
视觉中的训练证据
VR01 · 同一张照片,改变进入模型的方式
VR02 · 训练条件改变,同一对模型的排序也改变
VR03 · 模型预测在这里,目标也在这里
VR04 · 误差更新参数,训练后的表示再转用
VR05 · 同模型的收益,要连同额外训练一起读
VR06 · 分数之外,网络内部在区分什么?
训练后的内部表示
RG02 · 猫和汽车,为什么会出现在一起?
RG03 · 全图类别不同,局部结构可能相通
RG04 · 一个解释,能否接住两侧与两端?
RG09 · 混合不是只看终点:沿训练看它怎样长出来
RG10 · 能承载多少,与为什么共享
RG19 · 从一段文字,追到一个下一词
RG23 · 把解释交出去,再测一个新输入
RG24 · 句子很像,关系还一样吗?
RG25 · “约九成”,究竟解释了什么?
RG30 · 把尚未解释的例子留在桌面上
RG32 · 回到 MAE:表示怎样落成一轮计算?
计算、存储与搬运
RC-H1 · 同一组表示,怎样变成可执行的运算?
RC-H2 · 一起计算,不等于工作量不再增长
RC-H3 · 算得完、装得下、搬得动
文本预训练
RC-P1 · 普通记录,怎样自己产生训练题?
RC-P2 · 一组参数,面对一排前缀与目标
RC-P3 · 把后词概率,变成一次参数更新
RC-P4 · 只改一个词,关系判断为什么反过来?
RC-P5 · 目标相同,材料让模型反复遇到什么?
RC-P6 · 普通文本训练,能帮助另一项任务吗?
当前示例与参数更新
RC-A1 · 给同一份 AB 请求加一个示例
RC-A2 · 固定 W,改变 X,当前状态就会改变
RC-A3 · 示例有效吗?看独立的完整翻译评价
RC-A4 · 把期望的回应方式写进训练样本
RC-A5 · 可读取谁,与哪些目标计分,是两件事
RC-A6 · 换事实,检验行为而非旧答案
有限预算中的取舍
RC-C1 · 固定预算,模型与训练量怎样取舍?
RC-C2 · 沿一条真实预算线,看哪里用得更好
一次更新的设备现场
RC-T1 · 16 GB 权重,为什么训练状态会更多?
RC-T2 · 分担数据,与分担保存责任,是两个动作
RC-T3 · 相同的读取目标,能否少保存、少搬运?
一个请求的执行
RC-V1 · 旧参数接收新请求,生成当前状态
RC-V2 · 权重能共享,上下文状态仍要付成本
用新证据改变判断
RC-F1 · 同一条回答的事实、本领与执行从哪里来?
RC-F2 · 新测量与新约束,真的改变选择
回收三问,继续验证
CL01 · 记忆容量:存入与读回,要放在一起判断
CL02 · 学到了什么:让解释接受新证据
CL03 · 可执行性:能力收益要与资源代价一起看
CL04 · 从一次回答,走向搜索、推理与验证
返回课堂
学习材料
返回课堂
本页学习说明
再想一步
检索的评价对象是读回向量与目标向量的差别。把向量排成图样便于看见差别,数值指标仍要使用同一尺度和误差定义,不能只凭图像看起来相似就认定读对。
从本页继续阅读
固定查询的四档读回
:查看查询、目标、存入关联数与干扰指标的完整实验。
记忆容量的条件与指标
:展开写入、读取、随机向量假设和误差标准。
阅读完整讲义