新 token 读取旧 K/V，再把自己的 K/V 留下来

现在只看decode中的一层。为看清这次增加的状态，我们把已有缓存简画成五个位置；这不是上一页整份材料的真实分词数。左下两排分别保存这些位置的K和V。新token先在当前层得到表示x，再沿上方分开的三条路径，分别经过W_Q、W_K、W_V，形成新的Q、K和V。上方参数没有更新，下面新算出的状态却不同。这里每一列都有一个位置，缓存属于这一层、这一个请求。

现在沿紫色路径：新Q与允许的K比较，既包括前五个位置，也包括当前位置的新K，得到读取权重。再沿权重箭头进入V汇总，把旧V和新V按同一组权重合起来。旧K/V省掉的是重算，但它们仍要被读取；缓存没有把这次attention的访问成本变成零。

这一步有两种去向。右边的本层输出交给下一层，继续完成模型计算；上面新产生的K和V则分别追加到本层缓存的第六列。看两条绿色追加线，它们从新K、新V出发，落在对应的K行和V行。缓存的标题也已经从一到五变成一到六。输出不是产生K/V的来源，K/V在前面的投影步骤就已经形成了。

这一轮结束，上方参数仍是原来的参数，本层缓存从五列变成六列。以后继续生成，缓存还会增长；其他请求也会有自己的状态。现在不仅要问它省了多少重算，也要问这些状态占多少空间。下一页指定一个明确配置，我们从一个token开始计量。