本页学习说明
当前 A/B 输入提供 12 秒、8 秒和未测内存;训练参数提供语言、比较与回应能力;运行系统把参数与当前状态的计算实际完成。教师参考的范围、比较与未知项均可逐句回指材料。优化执行不会替代尚未进行的测量。
回答中的三类来源
A12秒、B8秒与未测内存来自本次材料。训练形成的参数提供语言、比较与回应能力;当前输入形成表示、K/V等状态;若加入示例,示例同样经当前计算起作用,不因此自动改变参数。
运行系统从一开始就包住prefill和decode,缓存、算子和调度帮助计算完成。它不能为材料补出未测量的内存结果。“B在本次测试中耗时更短”依赖12与8及相同设置;“内存尚未比较”依赖未测项。参考回答是教师给出的分析,不是模型实跑。
参数与当前状态 · SFT · 推理服务 · 上下文与记忆主题。
可选深入:候选生成怎样回到训练
生成候选,又会成为下一轮训练的材料另行解释候选、评价信号与参数更新之间的步骤。普通请求中的生成和反馈不会因此自动改写参数。
阅读完整讲义