完整深入材料 · 保留原页与全部停点。回到相关主讲
每轮接纳新请求,把空出来的机会用上
N58/b0 · 保持同一请求与长度
把上一页六轮的安排留在上方作为参照。下方还是同样的A两轮、B四轮、C两轮,两个槽也没增加;已经完成的前两轮完全相同。接下来只改一个规则:一轮结束后,允许重新检查谁退出、谁可以进入。
教师备课:指图与模拟问答
指图与推进 · 不朗读指上方淡色六轮参照,再逐格核对下方前两轮;暂不指第3/4轮结果。
N58/b1 · R_A 退出后接纳 R_C
第二轮结束,A退出,自己的独占K/V释放。第三轮开始时让C补进来,B继续第三步,不需要为了接纳C而从头生成。看下面第三列,同一轮的两个机会分别给了B和C。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进到b1,指R_A退出后的上槽变化,再指第3轮R_C与R_B;此态尚未出现第4轮完成结果。
N58/b2 · 第四轮完成全部请求
到第四轮,B和C都完成了。现在上、下两图可以逐格核对:A仍做两步,B四步,C两步,总工作没有消失;C只是少等了两轮。按生成轮次调整活跃请求集合,这就是这里展示的连续批处理。六轮到四轮说明这组调度如何利用空出的机会,不能直接换算为GPU速度的固定倍数。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进到b2;指下方第4轮完成,再回到上方逐项数A2、B4、C2,比较C开始与结束的轮次。
N58/b3 · 接纳还受容量与延迟约束
现在把教学图暂时简化掉的条件放回来。要接纳新请求,必须有K/V容量,它的prefill要准备好,还要顾及已有请求的延迟目标。图上有空格,只代表值得尝试接纳,并不保证所有条件都满足。提高吞吐的安排也可能让某个人等第一字更久;下一页就把笼统的“慢”拆到具体阶段。
教师备课:指图与模拟问答
指图与推进 · 不朗读推进到b3,依次指KV容量、prefill准备、延迟目标三张条件卡;转到下一页的输入、输出和并发三种变化。
补充推导、边界与来源
连续批处理在生成轮次间调整活跃请求集合。此例保持N57的请求长度不变:前两轮R_A/R_B共同执行,R_A完成后第三轮R_C补入,R_B不中断;第四轮R_B/R_C均完成。总生成工作量不变,R_C比固定整批少等两轮。
六轮变四轮是调度构造,不是实测1.5倍GPU加速。真实轮耗时受活跃批量、输入处理、内存访问、算子及设备影响。新请求接纳还需要prefill准备、KV容量、延迟目标满足条件,不能只看是否有空格。
评估实际系统时区分排队时间、首token延迟、逐token延迟与吞吐;提高吞吐的安排可能增加个别请求等待。
本页证据与条件
固定条件的连续批处理构造;六轮→四轮不是GPU实测加速倍数