本页学习说明
长输入、长输出与高并发不是同一个问题。长输入增加prefill计算与状态；长输出增加顺序decode轮次并持续增长KV；高并发叠加排队、批次安排和容量压力。
在同设备上，大块prefill工作可能干扰正在decode的请求。P/D分离把两类阶段安排到不同资源，prefill结束后交接K/V等必要状态，decode继续产生输出。它允许分别配置与调度资源，也增加状态传输、模型驻留和协调成本，效果依赖输入/输出分布、请求量、设备及互联。不能因图被分成两栏就断言更快。
首token等待与后续逐token延迟应同时考察。Dynamo、LMCache、Mooncake等组件按实际职责在既有正文展开，不组成每次请求必须依次安装的技术栈。
服务技术栈与资源交接 · 完整服务主题 · DistServe §2.1–2.3 / §3.3。
阅读完整讲义