普通记录，怎样自己产生训练题？

正在载入课堂画面…

本页学习说明

语言建模把完整材料拆成“合法前缀”和“实际后续”。A/B记录的完整文本是训练资料；在某个位置做预测时，模型只读该位置及此前内容。后续单位用于计分，而不是提前出现在当前可见输入中。改变截断位置，同一段资料便产生另一道预测题。

当前合法前缀的末尾	原文实际后续／目标	当前预测不能读取的部分
B用时	8	8及其后的未来输入
未测量	内存	内存及其后的未来输入

完整资料用于构造监督；前缀用于生成预测；目标用于评价预测，三者职责不同。

普通记录能够提供语言建模监督：给定一段合法前缀，用材料里真实出现的下一单位作为目标。本例在“B用时”之后预测“8”，在“未测量”之后预测“内存”。完整原文属于资料区，模型的当前输入副本仍受因果限制。这里学习的是材料分布；训练目标本身不会自动核验记录是否符合真实世界。