本页学习说明
因果计算使旧位置的表示不依赖后来追加的 token，因此旧 K/V 可以复用。每个新 token 在当前层生成自己的 Q、K、V：Q 匹配允许的旧 K 和当前位置 K，权重用于汇总对应的 V，输出送往下一层，新 K/V 追加本层缓存。
缓存复用省掉的是旧位置重算，不是后续读取成本。旧 Q 通常不需要为所有后续步骤持久保存；临时激活和其他运行状态仍然存在。图示一层，各层有各自的缓存。改变参数、前缀或位置计算条件后，应重新判断兼容性，不能任意修改旧文本而沿用缓存。
完整 KV 机制 · 服务主题与兼容条件 · PagedAttention §2.1–2.2，物理 p3。
阅读完整讲义