旧参数接收新请求，生成当前状态
本页问题
参数保存训练所得，K/V 保存特定请求在特定层的当前计算状态。prefill 处理已知提示并产生首分布，选择首 token 后进入逐步 decode。新位置读取允许的旧 K/V 与当前状态，将输出交给下一层，并把本层新 K/V 追加到缓存。训练见过同文，并不等于已有可直接复用的请求缓存。
RC-V1/b0 · 留下参数，接入新请求
训练停下以后，普通推理保留参数，不为每条请求建立训练用的梯度和 Adam 历史。但参数不是为每次请求预先备好的当前状态。即使训练见过相同文字，这份 A/B 请求仍需前向计算，或复用已有且兼容的缓存，才能获得本次表示和 K/V。
教师备课：指图与模拟问答
指图与推进 · 不朗读指保留参数、淡去训练状态和AB请求缩略图。
本态来源与条件
教学构造与机制示意；非模型实测
RC-V1/b1 · prefill得到首输出分布
先处理已经给定的提示，这个阶段叫 prefill。每层可以成批处理已知位置，各行仍遵守因果读取。它建立各层状态，并得到首输出位置的概率分布；此时并没有整段未知回答。先有分布，再选择第一个 token，是两个动作。
教师备课：指图与模拟问答
指图与推进 · 不朗读沿已知输入→各层prefill→首分布，不提前指选出的B。
本态来源与条件
教学构造与机制示意；非模型实测
RC-V1/b2 · 选出首token，进入decode
假设选择出图中的教学 token B，它才成为新的已知输入，进入逐步生成的 decode。参数与刚才相同，增加的是一个位置，旧位置已有的兼容计算可以复用。现在放大其中一层，把“使用缓存”拆成具体的读取与追加。
进一步解释
B 为教学 token 标记，并非本课模型实测分词或生成结果。首分布、选择 token、decode 三个阶段不得混成“一次 prefill 给出完整回答”。
教师备课：指图与模拟问答
指图与推进 · 不朗读从首分布指B，再沿独立decode入口；明确B非实测分词。
本态来源与条件
教学构造与机制示意；非模型实测
RC-V1/b3 · 读取旧状态，追加新状态
新位置形成自己的 Q、K、V。Q 与允许的旧 K 以及当前 K 匹配，按权重汇总对应 V；本层输出送往下一层，新 K/V 则追加到本层缓存。旧因果位置不依赖后来加入的 token，所以兼容时不用重算；但旧 K/V 仍要被读取，缓存也随生成增长。
进一步解释
图示五列到六列是为了看清追加，不是实际 tokenizer 计数。旧 Q 通常不为所有后续步骤长期保存；临时激活仍存在。
教师备课：指图与模拟问答
指图与推进 · 不朗读先沿新Q到K/V读取，再分别指新K与新V追加第六列、输出到下一层。
本态来源与条件
教学构造与机制示意；非模型实测
接下来
一份当前状态，究竟需要多少字节？
补充推导、边界与来源
进一步阅读
条件与来源
以下从计算对象、条件与原始证据继续展开。
原 N21：整段在手，不等于每一行都能偷看答案
输入 BOS / I / gave / him 对应下一词标签 I / gave / him / a。gave 行可读取 BOS、I、gave，而不能读取后面的输入 him。标签 him 在目标端，不作为该行可见输入。训练前向之后另有 loss 与反向更新；推理 prefill 处理已知提示，只做前向；decode 生成未知新 token，需要逐步等待。
来源：L5 T30/T34 的因果训练与生成；原句片段固定使用 him。
相关的完整阅读材料保留原有公式、引用和原始图解。
原 N52：训练结束后，这一次请求从哪里开始？
训练结束后，普通推理保留模型参数，不为每条请求重新建立梯度和 Adam 更新历史。本次输入仍须经过所有层，计算新的表示与 K/V。prefill 是处理已知提示的前向阶段；对因果模型，位置可批量处理，但每个位置只能读取合法前缀，层与层之间仍有依赖。
首输出概率分布与选择首 token 是两个动作。选出首 token 后，才有新的已知输入供下一轮 decode 使用。图中的 B 仅标识示意 token，不宣称真实 tokenizer 切分或模型运行结果，也不把 prefill 画成同时生成完整回答。
原推理流程与完整说明 · 服务系统主题 · PagedAttention §2.1–2.2，物理 p3。
原 N53：新 token 读取旧 K/V，再把自己的 K/V 留下来
因果计算使旧位置的表示不依赖后来追加的 token，因此旧 K/V 可以复用。每个新 token 在当前层生成自己的 Q、K、V：Q 匹配允许的旧 K 和当前位置 K，权重用于汇总对应的 V，输出送往下一层，新 K/V 追加本层缓存。
缓存复用省掉的是旧位置重算，不是后续读取成本。旧 Q 通常不需要为所有后续步骤持久保存；临时激活和其他运行状态仍然存在。图示一层，各层有各自的缓存。改变参数、前缀或位置计算条件后，应重新判断兼容性，不能任意修改旧文本而沿用缓存。
本页证据与条件
教学构造与机制示意；非模型实测