本页学习说明
训练参数与当前状态都能排列成矩阵,但产生方式不同。W₁/W₂、W_K/W_V是普通推理中固定的规则;当前输入X通过这些规则产生本次K/V。增加输入位置会增加K/V的行数,改变内容,却不改变投影参数尺寸。把A12秒、B8秒的新记录加入上下文可以改变本次回答,这本身不构成参数更新或跨请求的永久记忆。
A12秒/B8秒是本课贯穿记录;本段引入它的身份,后半课只添加新任务和新测量,不重置事实。
与本页直接相关的完整材料
条件、推导与来源
AM14 · 有的关联在参数里,有的条目来自这次输入
读取公式已经连上,接下来区分关联在参数中还是来自当前输入。
此处“非参数式”描述可随输入长度增长的条目,不表示attention没有可训练参数。每层、每头的key/value是该层表示的投影,不是“一条token对应一条独立事实”。KV缓存是保留计算结果的工程机制,本页只埋线索,具体成本由后续服务段展开。
来源与继续阅读
Alex Wang:对应原文小节。
M04 原阅读材料 · N08 原阅读材料 · N09 原阅读材料。旧阅读材料保留自身的算例与记号;不要将旧三条目行向量例与本节两条目列向量例混算。
完整推导与实验口径 · 原文配套源码入口。
阅读完整讲义