这次增加了输入，模型参数改了吗？
I05/b0 · 回访开场两种来源
回到开场这张图。上方是训练留下的参数；下方是这一次输入形成 K 和 V 的路径。刚才海獭那行现在放在下方的“新增示例 token”框里，成为本次计算的内容，并没有因为它出现就执行一次反向传播。我们说的上下文学习，首先要与训练参数的更新分清。
教师备课：指图与模拟问答
指图与推进 · 不朗读复用M04两来源位置，加入海獭这一条输入。
I05/b1 · 投影不变，结果可以变
固定的是W，不是X。输入X变了，同一个投影矩阵算出的K和V就会变，当前query也可随着表示改变。随后位置能够读取这些新内容，输出就可能受示例影响。attention提供读取接口；怎样识别任务、解释法语和组织答案，还依靠多层训练过的计算，不能用一次softmax替代整套解释。
教师备课：指图与模拟问答
指图与推进 · 不朗读高亮变化的X与K/V，W保留冻结样式。
I05/b2 · 两种改变，两个位置
因此参数训练与ICL的位置很清楚：前者把变化写进参数，后者通过当次输入改变状态。提示里的示例可能使任务更具体，却不保证总会有帮助，更不等于永久学进模型。续写器可以这样接住任务，可日常使用者不希望每次都精心搭一段“方便续写”的文本。他们想直接提出请求并获得合适回应。为什么还要继续训练一个助手，我们用同一份小实验材料来看。
教师备课：指图与模拟问答
指图与推进 · 不朗读并置两条路径，然后进入A/B摘要任务。
补充推导、边界与来源
MLP 可以从一种记忆视角解释：训练形成的参数决定匹配模式及输出方向，这类 key/value 关系体现在权重里。self-attention 的当前 K/V 则由眼前 token 的表示经过已训练的 W_K、W_V 投影产生；W_Q 同样固定，但新输入仍会生成新 query。前者谈训练形成的参数结构，后者谈一次请求内部的动态状态，不能把两种“记忆”当成同一存储。
示例可以规定输出格式、标签关系或解法线索；材料可以提供训练后才出现的事实。attention 提供读取通道，解释示例、组合关系还依赖多层已训练计算，所以它不是 ICL 的唯一完整理论。增加上下文不等于进行了反向训练，也不保证信息会被正确利用。当前输入形成的 K/V 可被缓存，后续生成复用它们，从而把学习机制自然接到服务容量。
本页证据与条件
训练参数与当前上下文 K/V 的机制示意