固定 W,改变 X,当前状态就会改变
本页问题
在某一层,输入表示X经过训练得到的投影Wₖ和Wᵥ,生成本次K=XWₖ与V=XWᵥ。在当前问题前插入C/D示例,会增加输入位置,并改变后续位置的上下文表示。相同权重仍可产生不同状态和输出分布;这是前向计算,不需要本次优化器更新。
RC-A2/b0 · 同一组参数,两份输入
请根据材料概括结果,并保留未知。
A12秒 / B8秒;未测内存。
请根据材料概括结果,并保留未知。
C10秒 / D7秒,未测能耗。
示例答:D更快;能耗未知。
A12秒 / B8秒;未测内存。
两份输入使用同一组W。加了前置示例,当前层的表示由X₀变为X₁;X是一排表示向量,不是参数。
进一步解释
第一层X来自token与位置等输入表示;后层X已经包含之前层处理的上下文。这里的0/1是两份输入条件的编号,不是时间步或模型版本。
教师备课:指图与模拟问答
指图与推进 · 不朗读先指固定W,再沿两份AB提示指向X₀/X₁。
本态来源与条件
A/B与C/D为教学输入;固定参数仅前向的few-shot设置对应GPT-3 §2。
RC-A2/b1 · 同一投影,新的 K/V
请根据材料概括结果,并保留未知。
A12秒 / B8秒;未测内存。
请根据材料概括结果,并保留未知。
C10秒 / D7秒,未测能耗。
示例答:D更快;能耗未知。
A12秒 / B8秒;未测内存。
沿相同投影计算K=XWₖ、V=XWᵥ。W没变,X不同,K/V就可以不同。前置示例成为后续位置可读取的内容。
进一步解释
前置示例参与模型计算并改变条件;它不是绕过当前任务直接复制答案的通道。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿两条X→K/V路径,核对同一W标记始终不动。
本态来源与条件
A/B与C/D为教学输入;固定参数仅前向的few-shot设置对应GPT-3 §2。
RC-A2/b2 · 沿合法读取走到预测
请根据材料概括结果,并保留未知。
A12秒 / B8秒;未测内存。
请根据材料概括结果,并保留未知。
C10秒 / D7秒,未测能耗。
示例答:D更快;能耗未知。
A12秒 / B8秒;未测内存。
当前Q读取合法前缀K/V,经后续计算形成词表分布。这里只有前向,没有优化器更新。机制说明了影响的入口;影响是否有益,还需要独立评价。
进一步解释
普通ICL只有前向计算。某些研究会把特定情形下的内部计算与学习算法类比,但本图本身不证明一般ICL必然实现梯度下降。
教师备课:指图与模拟问答
指图与推进 · 不朗读沿Q→合法K/V→后续层→词表分布,再对照没变/变了。
本态来源与条件
A/B与C/D为教学输入;固定参数仅前向的few-shot设置对应GPT-3 §2。
接下来
机制说明入口,实际效果还要独立评价。
补充推导、边界与来源
| 跨两种输入保持不变 | 随当前输入改变 |
|---|---|
| 训练权重WQ、WK、WV | 输入位置及各层表示X |
| 参数化的计算规则 | 本次K/V与可能不同的输出分布 |
在某层,K=XWₖ、V=XWᵥ。用同一矩阵处理不同输入可产生不同结果;这不要求执行一次参数更新。
深入解释与来源
固定的是 W,改变的是这次进入计算的 X
在某层,固定投影权重与不同层输入产生不同的当前K/V:$K=XW_K$,$V=XW_V$。第一层X来自token和位置表示,后层X是上下文化后的层输入。本例从当前问题前插入示例,后续位置及条件改变;不要推广为纯因果模型追加token后所有旧位置都会变化。普通ICL只作前向,不执行优化器更新,也不等价于宣称内部算法必然是梯度下降。
来源与材料身份
本页证据与条件
A/B与C/D为教学输入;固定参数仅前向的few-shot设置对应GPT-3 §2。