返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

相同前缀,可以接出两条不同的后续

N56/b0 · 两个请求的相同前缀

复用条件:同一模型 · 前缀 token 逐位相同 · 位置与计算条件兼容请求 1共同前缀:4096 token两份内容逐位对齐各自尾部:2048独立后续请求 2共同前缀:4096 token两份内容逐位对齐各自尾部:2048独立后续
两个请求的相同前缀

现在保持同一个模型,比较两个请求。它们开头都是同一段4096 token,后面各有2048 token不同内容。先看上方条件:共同前缀必须逐位相同,位置和计算条件也要兼容。当前两份前缀各保存了一份K/V;这才是我们接下来可以尝试合并的对象。

教师备课:指图与模拟问答

指图与推进 · 不朗读对齐两条4096前缀;分别指不同的2048尾部;再指顶部三项复用条件,不提前指共享后的图。

N56/b1 · 一份共享前缀,两条独立尾部

复用条件:同一模型 · 前缀 token 逐位相同 · 位置与计算条件兼容共同前缀:4096 tokenK/V 物理块只存一份请求 1 尾部:2048各自状态与继续生成请求 2 尾部:2048各自状态与继续生成两个逻辑引用
一份共享前缀,两条独立尾部

把相同前缀的物理缓存只保留一份,再让两个请求各自引用它。右边两条尾部仍然分开:请求一之后的状态属于请求一,请求二也沿自己的后续生成。我们共享的是共同开头,没有把两份回答合成一份。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进到b1;先指一份共同前缀,再沿两条引用分别走到请求1与请求2的尾部。

N56/b2 · 复算节省的 KV 空间

复用条件:同一模型 · 前缀 token 逐位相同 · 位置与计算条件兼容共同前缀:4096 tokenK/V 物理块只存一份请求 1 尾部:2048各自状态与继续生成请求 2 尾部:2048各自状态与继续生成两个逻辑引用未共享:2 × 6144 × 128 KiB1.5 GiB共享:(4096 + 2 × 2048) × 128 KiB1 GiB
复算节省的 KV 空间

沿用每token 128KiB的配置。不共享时,两份6144 token合计1.5GiB;共享后是一份4096前缀,加两份2048尾部,总计8192 token,也就是1GiB。我们可以从两边算式核对节省来自哪里:只去掉了重复的共同前缀,两个独立尾部都保留下来。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进到b2,先读未共享完整算式,再逐项对照共享算式中的4096和两份2048;确认单位一致。

N56/b3 · 精确匹配与计算条件的边界

复用条件:同一模型 · 前缀 token 逐位相同 · 位置与计算条件兼容共同前缀:4096 tokenK/V 物理块只存一份请求 1 尾部:2048各自状态与继续生成请求 2 尾部:2048各自状态与继续生成两个逻辑引用未共享:2 × 6144 × 128 KiB1.5 GiB共享:(4096 + 2 × 2048) × 128 KiB1 GiB上例完全匹配时的空间账;前缀改动后须重新核对前缀一个 token 改变 / 前置内容改变从改变位置起的后续状态重新核对、重算
精确匹配与计算条件的边界

现在改变条件:如果前缀某个token或它之前的内容变了,从改变位置往后的状态就需要重新核对、必要时重算。前面完全没变且计算条件兼容的部分仍可以分别判断。红色框提醒我们,精确前缀复用不是语义相似搜索。我们已经能让状态增长,也能共享满足条件的部分;接下来,一个请求完成后,等待者是否及时获得了计算机会?

教师备课:指图与模拟问答

指图与推进 · 不朗读推进到b3,指改变前缀的红框;将下方空间算式说明为上一态完全匹配情形的参照,随后转到调度。

补充推导、边界与来源

按 N54 的128 KiB/token配置,两个请求各含4096 token共同前缀与2048 token独立尾部。未共享时两份6144 token共12288 token,即1.5 GiB;共享一份前缀后总量4096+2×2048=8192 token,即1 GiB。

精确前缀复用要求同模型、相同 token 序列和兼容的位置及计算条件。文本含义相似不保证 K/V 相同;前文或前缀某个 token 改变后,从改变位置起的后续状态需要重新判断,不能把全段旧缓存当作可原样复用。共同前缀之前未改变且条件兼容的部分仍可独立核对。

两个尾部各有自己的状态和生成路径。共享节省重复 KV,也可能省重复 prefill,但不表示两条请求的全部计算合并。旧材料中的三请求2.25→1.25 GiB是另一构造,与本页两请求1.5→1 GiB分开。

前缀匹配与 RadixAttention / SGLang · 服务主题 · PagedAttention §4.4,物理 p7–8。

本页证据与条件

本轮两请求构造:公共前缀4096、各自尾部2048;1.5 GiB→1 GiB

进入主题正文