参数没变,这次可读的内容可以变
本页问题
训练参数与当前状态都能排列成矩阵,但产生方式不同。W₁/W₂、W_K/W_V是普通推理中固定的规则;当前输入X通过这些规则产生本次K/V。增加输入位置会增加K/V的行数,改变内容,却不改变投影参数尺寸。把A12秒、B8秒的新记录加入上下文可以改变本次回答,这本身不构成参数更新或跨请求的永久记忆。
AR09/b0 · 先辨认参数中的关联
刚才从MLP理解关联记忆时,承担检测和输出方向的是训练后的W一和W二。普通推理里,这些参数保持不变。不同输入会激活不同响应组合,但模型不会仅仅因为读了一条新记录,就自动把它永久刻进参数。先把这一类对象认清:训练留下的是处理输入的规则。
教师备课:指图与模拟问答
指图与推进 · 不朗读指左侧W₁/W₂及普通推理不更新的标记。
AR09/b1 · 投影规则固定,本次K/V随输入计算
右边的attention也有训练参数:W下标K和W下标V,是生成key和value的投影规则。把当前输入X交给同一规则,才得到本次的K/V。输入中增加位置,K/V增加行,但投影矩阵本身不因此变大。我们要分清规则和这次规则处理出来的内容,不能把它们含糊地都叫权重。
进一步解释
非参数式条目描述的是条目可随输入长度变化,不代表attention没有可训练参数。每层/每头的K/V来自对应表示,不是一token一事实。
教师备课:指图与模拟问答
指图与推进 · 不朗读先指固定投影,再沿X到K/V的路径;保持参数框位置。
AR09/b2 · 用A/B记录检查这个区别
现在把这次实验记录放进当前输入:相同设置下,A用十二秒,B用八秒。模型可以利用这些新数字改变回答,而参数完全不必更新。换一份记录,本次K/V和读到的内容会变;下一个请求还能否看到旧记录,要看应用是否重新提供或保留上下文,不能只凭上次读过就说永久学会了。后半课会继续用这份A/B记录检验训练与使用的区别。
进一步解释
KV cache是保留中间计算结果的工程机制,既不是优化器状态,也不等同于参数学习。普通推理、应用保留、参数更新分开。
教师备课:指图与模拟问答
指图与推进 · 不朗读指新增输入行、固定投影和A12/B8记录,确认参数未变。
接下来
结构提供了怎样的可能性,训练是否真的把它利用起来?
补充推导、边界与来源
A12秒/B8秒是本课贯穿记录;本段引入它的身份,后半课只添加新任务和新测量,不重置事实。
与本页直接相关的完整材料
- AM14 · 有的关联在参数里,有的条目来自这次输入:原图、逐态说明与已校准推导。
条件、推导与来源
AM14 · 有的关联在参数里,有的条目来自这次输入
读取公式已经连上,接下来区分关联在参数中还是来自当前输入。
此处“非参数式”描述可随输入长度增长的条目,不表示attention没有可训练参数。每层、每头的key/value是该层表示的投影,不是“一条token对应一条独立事实”。KV缓存是保留计算结果的工程机制,本页只埋线索,具体成本由后续服务段展开。
来源与继续阅读
M04 原阅读材料 · N08 原阅读材料 · N09 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
本页证据与条件
Transformer计算关系的教学示意