返回课堂

固定 W,改变 X,当前状态就会改变

本页问题

在某一层,输入表示X经过训练得到的投影Wₖ和Wᵥ,生成本次K=XWₖ与V=XWᵥ。在当前问题前插入C/D示例,会增加输入位置,并改变后续位置的上下文表示。相同权重仍可产生不同状态和输出分布;这是前向计算,不需要本次优化器更新。

RC-A2/b0 · 同一组参数,两份输入

训练参数 WQ / WK / WV 固定
没有示例

请根据材料概括结果,并保留未知。

A12秒 / B8秒;未测内存。

→X₀→
K₀ = X₀WₖV₀ = X₀Wᵥ本次输入计算出的状态
增加C/D示例

请根据材料概括结果,并保留未知。

C10秒 / D7秒,未测能耗。
示例答:D更快;能耗未知。

A12秒 / B8秒;未测内存。

→X₁→
K₁ = X₁WₖV₁ = X₁Wᵥ本次输入计算出的状态
当前 Q → 合法前缀 K/V → 后续计算 → 词表分布
两份输入,经过同一组参数
同一组参数,两份输入

两份输入使用同一组W。加了前置示例,当前层的表示由X₀变为X₁;X是一排表示向量,不是参数。

进一步解释

第一层X来自token与位置等输入表示;后层X已经包含之前层处理的上下文。这里的0/1是两份输入条件的编号,不是时间步或模型版本。

教师备课:指图与模拟问答

指图与推进 · 不朗读先指固定W,再沿两份AB提示指向X₀/X₁。

本态来源与条件

A/B与C/D为教学输入;固定参数仅前向的few-shot设置对应GPT-3 §2。

RC-A2/b1 · 同一投影,新的 K/V

训练参数 WQ / WK / WV 固定
没有示例

请根据材料概括结果,并保留未知。

A12秒 / B8秒;未测内存。

→X₀→
K₀ = X₀WₖV₀ = X₀Wᵥ本次输入计算出的状态
增加C/D示例

请根据材料概括结果,并保留未知。

C10秒 / D7秒,未测能耗。
示例答:D更快;能耗未知。

A12秒 / B8秒;未测内存。

→X₁→
K₁ = X₁WₖV₁ = X₁Wᵥ本次输入计算出的状态
当前 Q → 合法前缀 K/V → 后续计算 → 词表分布
两份输入,经过同一组参数
同一投影,新的 K/V

沿相同投影计算K=XWₖ、V=XWᵥ。W没变,X不同,K/V就可以不同。前置示例成为后续位置可读取的内容。

进一步解释

前置示例参与模型计算并改变条件;它不是绕过当前任务直接复制答案的通道。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿两条X→K/V路径,核对同一W标记始终不动。

本态来源与条件

A/B与C/D为教学输入;固定参数仅前向的few-shot设置对应GPT-3 §2。

RC-A2/b2 · 沿合法读取走到预测

训练参数 WQ / WK / WV 固定
没有示例

请根据材料概括结果,并保留未知。

A12秒 / B8秒;未测内存。

→X₀→
K₀ = X₀WₖV₀ = X₀Wᵥ本次输入计算出的状态
增加C/D示例

请根据材料概括结果,并保留未知。

C10秒 / D7秒,未测能耗。
示例答:D更快;能耗未知。

A12秒 / B8秒;未测内存。

→X₁→
K₁ = X₁WₖV₁ = X₁Wᵥ本次输入计算出的状态
当前 Q → 合法前缀 K/V → 后续计算 → 词表分布
W 未更新;X、K/V 与输出分布可以改变
沿合法读取走到预测

当前Q读取合法前缀K/V,经后续计算形成词表分布。这里只有前向,没有优化器更新。机制说明了影响的入口;影响是否有益,还需要独立评价。

进一步解释

普通ICL只有前向计算。某些研究会把特定情形下的内部计算与学习算法类比,但本图本身不证明一般ICL必然实现梯度下降。

教师备课:指图与模拟问答

指图与推进 · 不朗读沿Q→合法K/V→后续层→词表分布,再对照没变/变了。

本态来源与条件

A/B与C/D为教学输入;固定参数仅前向的few-shot设置对应GPT-3 §2。

接下来

机制说明入口,实际效果还要独立评价。

补充推导、边界与来源
跨两种输入保持不变 随当前输入改变
训练权重WQ、WK、WV 输入位置及各层表示X
参数化的计算规则 本次K/V与可能不同的输出分布

在某层,K=XWₖ、V=XWᵥ。用同一矩阵处理不同输入可产生不同结果;这不要求执行一次参数更新。

深入解释与来源

固定的是 W,改变的是这次进入计算的 X

在某层,固定投影权重与不同层输入产生不同的当前K/V:$K=XW_K$,$V=XW_V$。第一层X来自token和位置表示,后层X是上下文化后的层输入。本例从当前问题前插入示例,后续位置及条件改变;不要推广为纯因果模型追加token后所有旧位置都会变化。普通ICL只作前向,不执行优化器更新,也不等价于宣称内部算法必然是梯度下降。

来源与材料身份

  • 原始入口:§2:few-shot评测仅前向,无权重更新;Q/K/V数学关系承接L5已讲Transformer
  • 原始入口:参数更新与当前输入两条路径的既有基线
本页证据与条件

A/B与C/D为教学输入;固定参数仅前向的few-shot设置对应GPT-3 §2。

进入主题正文