返回课堂

参数没变,这次可读的内容可以变

本页问题

训练参数与当前状态都能排列成矩阵,但产生方式不同。W₁/W₂、W_K/W_V是普通推理中固定的规则;当前输入X通过这些规则产生本次K/V。增加输入位置会增加K/V的行数,改变内容,却不改变投影参数尺寸。把A12秒、B8秒的新记录加入上下文可以改变本次回答,这本身不构成参数更新或跨请求的永久记忆。

AR09/b0 · 先辨认参数中的关联

参数中的关联MLPW₁ / W₂训练后的参数普通推理时保持不变
先辨认参数中的关联

刚才从MLP理解关联记忆时,承担检测和输出方向的是训练后的W一和W二。普通推理里,这些参数保持不变。不同输入会激活不同响应组合,但模型不会仅仅因为读了一条新记录,就自动把它永久刻进参数。先把这一类对象认清:训练留下的是处理输入的规则。

教师备课:指图与模拟问答

指图与推进 · 不朗读指左侧W₁/W₂及普通推理不更新的标记。

AR09/b1 · 投影规则固定,本次K/V随输入计算

参数中的关联MLPW₁ / W₂训练后的参数普通推理时保持不变本次输入中的条目固定投影参数 WK / WV新增 token 时,矩阵尺寸不变输入 XK = XWKV = XWV每行来自本层一个 token 的表示
投影规则固定,本次K/V随输入计算

右边的attention也有训练参数:W下标K和W下标V,是生成key和value的投影规则。把当前输入X交给同一规则,才得到本次的K/V。输入中增加位置,K/V增加行,但投影矩阵本身不因此变大。我们要分清规则和这次规则处理出来的内容,不能把它们含糊地都叫权重。

进一步解释

非参数式条目描述的是条目可随输入长度变化,不代表attention没有可训练参数。每层/每头的K/V来自对应表示,不是一token一事实。

教师备课:指图与模拟问答

指图与推进 · 不朗读先指固定投影,再沿X到K/V的路径;保持参数框位置。

AR09/b2 · 用A/B记录检查这个区别

参数中的关联MLPW₁ / W₂训练后的参数普通推理时保持不变本次输入中的条目固定投影参数 WK / WV新增 token 时,矩阵尺寸不变输入 XK = XWKV = XWV输入增加 → K/V 增加行(行数示意)当前材料:A 用 12 秒、B 用 8 秒换记录会改变本次 K/V;是否下次还能看见,取决于应用是否保留上下文
用A/B记录检查这个区别

现在把这次实验记录放进当前输入:相同设置下,A用十二秒,B用八秒。模型可以利用这些新数字改变回答,而参数完全不必更新。换一份记录,本次K/V和读到的内容会变;下一个请求还能否看到旧记录,要看应用是否重新提供或保留上下文,不能只凭上次读过就说永久学会了。后半课会继续用这份A/B记录检验训练与使用的区别。

进一步解释

KV cache是保留中间计算结果的工程机制,既不是优化器状态,也不等同于参数学习。普通推理、应用保留、参数更新分开。

教师备课:指图与模拟问答

指图与推进 · 不朗读指新增输入行、固定投影和A12/B8记录,确认参数未变。

接下来

结构提供了怎样的可能性,训练是否真的把它利用起来?

补充推导、边界与来源

A12秒/B8秒是本课贯穿记录;本段引入它的身份,后半课只添加新任务和新测量,不重置事实。

与本页直接相关的完整材料

条件、推导与来源

AM14 · 有的关联在参数里,有的条目来自这次输入

读取公式已经连上,接下来区分关联在参数中还是来自当前输入。

此处“非参数式”描述可随输入长度增长的条目,不表示attention没有可训练参数。每层、每头的key/value是该层表示的投影,不是“一条token对应一条独立事实”。KV缓存是保留计算结果的工程机制,本页只埋线索,具体成本由后续服务段展开。

来源与继续阅读

Alex Wang:对应原文小节。

M04 原阅读材料 · N08 原阅读材料 · N09 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。

完整推导与实验口径 · 原文配套源码入口。

本页证据与条件

Transformer计算关系的教学示意

进入主题正文