这个请求结束以后，什么会留下？

先回到开场那份十二和八。此刻上方参数正在处理下面这份材料，当前 K/V 是这次计算形成的状态。我们先讨论一个明确情形：下一次是独立请求，不会自动带上这份旧上下文。聊天界面能够替我们提供历史，但这一页暂时把这种帮助拿掉，才能看清模型参数本身是否因刚才读过材料而改变。现在结束这一次请求。

下方这份材料不再处于当前输入路径，上方训练参数仍保留着。普通推理已经结束，但刚才使用记录这件事没有自动触发训练更新。图里说的是请求中的信息身份，不规定服务程序必须立刻怎样删除物理缓存。现在开始一个没有带上旧记录的新请求。

这个新请求只说“请概括这次 A/B 实验”，并没有给十二秒和八秒。模型不能仅凭上一次处理过材料，就把那份记录当成这次可读输入。即使碰巧猜中了某个数字，也不是沿着记录得到的可靠比较。我们没有在这里展示或虚构一次模型回答；先看信息路径缺了哪一段。要恢复这条路径，应用可以把旧记录再次提供。

现在条件变了：应用把旧记录重新作为上下文送进来。看图，十二和八重新进入下面的输入路径，固定参数为它们计算出当前 K/V。聊天产品保存并再次提供历史，与参数已经学会这次实验，是两件不同的事。图下还有另一条路径：继续训练会更新参数，更新后的参数再供后续请求使用。我们已经把当前状态和可复用参数分开了；但扩大模型与训练，究竟能否改善真实任务，还不能由几张机制图直接推出。下一页把问题转成实际实验比较。