返回课堂

完整深入材料 · 保留原页与全部停点。回到相关主讲

这一次回答,哪些内容从哪里来?

N61/b0 · 回到原材料与请求

当前材料 · 相同设置A:12 秒  B:8 秒本次没有测量内存。请求:只根据材料概括比较结果这次事实来自哪里?回应本领来自哪里?计算怎样实际完成?
回到原材料与请求

回到同一份材料,数字没有变化:A十二秒,B八秒,没有测量内存。现在先看右边三个问题:这次事实来自哪里,回应的本领来自哪里,计算又怎样实际完成?我们按这三条线索把整套过程接回来。

教师备课:指图与模拟问答

指图与推进 · 不朗读读左侧材料与请求,再逐项指右侧三个问题;本态尚无参考回答,不提前指回答中的短语。

N61/b1 · 训练参数与当前输入会合

当前材料 · 相同设置A:12 秒  B:8 秒本次没有测量内存。请求:只根据材料概括比较结果过去训练 → 参数 θ预训练 + 后续示范训练运行系统:算子 · 缓存 · 调度prefill处理已知输入decode逐 token 生成
训练参数与当前输入会合

上方是过去训练留下的参数:预训练与后续示范训练让模型逐步具备语言、比较和按要求回应的本领。左边则是这一次的数字和未测项。两路在同一运行框中会合,成为当前的计算。如果本次输入再加一段示例,它也从输入这一路起作用,不因此自动改参数。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进到b1,先指上方训练→参数,再沿左侧材料的箭头进入同一运行框;保留prefill/decode两阶段的整体位置。

N61/b2 · 局部打开一层,再放回请求

当前材料 · 相同设置A:12 秒  B:8 秒本次没有测量内存。请求:只根据材料概括比较结果过去训练 → 参数 θ预训练 + 后续示范训练运行系统:算子 · 缓存 · 调度prefill处理已知输入decode逐 token 生成当前 attention K/V从本次表示计算参数化 MLP训练留下的变换局部放大一层;它属于同一请求的 prefill / decode
局部打开一层,再放回请求

现在局部放大其中一层,位置仍在同一请求的运行框内。当前attention的K/V由这次输入的表示算出,参数化MLP继续变换当前表示;attention本身也要用训练形成的投影参数。十二和八不必先训练进参数,才能在这次计算里被使用。局部对象与整机的关系清楚了,就可以核对最终回答。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进到b2,指运行框内的局部attention K/V与MLP,不声称已经播放缩回动画;沿框的包含关系说明局部属于prefill/decode。

N61/b3 · 回答逐项溯源

当前材料 · 相同设置A:12 秒  B:8 秒本次没有测量内存。请求:只根据材料概括比较结果过去训练 → 参数 θ预训练 + 后续示范训练运行系统:算子 · 缓存 · 调度prefill处理已知输入decode逐 token 生成教师参考回答:逐项回指给定材料相同设置在本次测试中12 秒 / 8 秒B 耗时更短没有测量内存内存尚未比较执行不提供新事实
回答逐项溯源

现在出现教师参考回答:“B在本次测试中耗时更短;内存尚未比较。”先沿左列把“本次测试”连回相同设置,再把“耗时更短”连回十二和八,最后把“内存尚未比较”连回未测项。每个短语都有依据或边界。

再看包住prefill与decode的运行框:算子、缓存和调度从一开始帮助计算完成,不是在答案生成以后才附加的一层,也不提供缺失的事实。开场问题已经有了具体落点:训练留下参数,当前材料提供事实,系统把计算完成。最后只增加一条新测量,检查我们的判断会不会随证据和约束改变。

教师备课:指图与模拟问答

指图与推进 · 不朗读推进到b3,逐列从材料短语沿箭头读到参考回答;再指包住prefill/decode的运行框,转到新增测量。

补充推导、边界与来源

A12秒、B8秒与未测内存来自本次材料。训练形成的参数提供语言、比较与回应能力;当前输入形成表示、K/V等状态;若加入示例,示例同样经当前计算起作用,不因此自动改变参数。

运行系统从一开始就包住prefill和decode,缓存、算子和调度帮助计算完成。它不能为材料补出未测量的内存结果。“B在本次测试中耗时更短”依赖12与8及相同设置;“内存尚未比较”依赖未测项。参考回答是教师给出的分析,不是模型实跑。

参数与当前状态 · SFT · 推理服务 · 上下文与记忆主题。

本页证据与条件

本课AB请求综合图;参考回答由教师给出,不是模型实跑

进入主题正文