本页学习说明
当前教学记录为 A12 秒/3 GiB、B8 秒/5 GiB。B 用时更短,A 峰值内存更低;施加峰值严格小于 4 GiB 的约束后,在两项候选中选 A。新测量补足事实,新约束改变选择,执行优化需新测试,不能改写已有证据。
进一步阅读
条件与来源
以下从计算对象、条件与原始证据继续展开。
原 N62:多了一项测量,结论应当怎样改变?
原 N62 材料在同一教学构造中增加内存测量:A12秒/3GiB,B8秒/5GiB。当前材料已经有内存数据,因此不再把“未测内存”同时显示为当前事实。两项独立结论是B用时更短、A峰值内存更低。
若目标只是这两次测试里更短用时,记录支持B;若先要求峰值内存<4GiB,A=3通过、B=5不通过,当前两选项中支持A。目标与约束改变,判断随之改变;不是给对象固定贴上“更好”标签。
这首先要求读取新输入和条件,不要求立即再训练。实际模型能否稳定做到还需独立材料检验。若慢,应检查prefill、生成长度、KV与调度;若反复忽略要求,应检查提示、评价与训练。优化执行不会把原始测量5GiB改成3GiB,也不能凭空补回未做的测量。
上下文与参数边界 · 服务系统。
阅读完整讲义