本页学习说明
在某一层，输入表示X经过训练得到的投影Wₖ和Wᵥ，生成本次K=XWₖ与V=XWᵥ。在当前问题前插入C/D示例，会增加输入位置，并改变后续位置的上下文表示。相同权重仍可产生不同状态和输出分布；这是前向计算，不需要本次优化器更新。
| 跨两种输入保持不变 |
随当前输入改变 |
| 训练权重WQ、WK、WV |
输入位置及各层表示X |
| 参数化的计算规则 |
本次K/V与可能不同的输出分布 |
在某层，K=XWₖ、V=XWᵥ。用同一矩阵处理不同输入可产生不同结果；这不要求执行一次参数更新。
深入解释与来源
固定的是 W，改变的是这次进入计算的 X
在某层，固定投影权重与不同层输入产生不同的当前K/V：$K=XW_K$，$V=XW_V$。第一层X来自token和位置表示，后层X是上下文化后的层输入。本例从当前问题前插入示例，后续位置及条件改变；不要推广为纯因果模型追加token后所有旧位置都会变化。普通ICL只作前向，不执行优化器更新，也不等价于宣称内部算法必然是梯度下降。
来源与材料身份
- 原始入口：§2：few-shot评测仅前向，无权重更新；Q/K/V数学关系承接L5已讲Transformer
- 原始入口：参数更新与当前输入两条路径的既有基线
阅读完整讲义