预测下一个词，或恢复遮住的内容
本页问题
同一句原文可以怎样提供学习信号？对照前缀预测与遮挡预测，找出输入和目标的位置。
OV03/b0 · 原文本提供目标，预测差异用于更新参数。
同一句原文本可以提供两类训练信号。下一 token 预测给出前缀“我／昨天／给了／他／一本”，目标是原句下一项“书”；遮挡语言建模给出“我／昨天／给了／[MASK]／一本／书”，目标是被选中位置原有的“他”。模型的预测与这些目标比较，形成用于更新参数的误差信号。目标的存在不意味着模型预测正确，也不意味着该前缀只有一种语言上合理的后续。
进一步解释
中文词块是为了对齐输入与目标所作的教学切分，不是真实 tokenizer 的运行结果。两行是不同目标的并列示例，不是同一模型必经的连续阶段。BERT 原论文预训练还使用 NSP；本页只借其 MLM 目标说明遮挡预测。MLM 的训练目标是原位置 token，而不是任意语义合理的替代词。
下一 token 的完整样本、对齐、loss 和更新在 RC-P 段展开。视觉 MAE 的遮挡、像素预测与损失位置会由自己的模型与证据说明。
教师备课：指图与模拟问答
指图与推进 · 不朗读分别指两行输入和对应目标；在遮挡行指出左右两侧仍可见。最后沿预测差异的更新箭头指向参数，不展开损失手算。
本态来源与条件
中文切分为教学构造；MLM 目标核对 BERT 原论文 §3.1，未展示模型实测预测。
接下来
有了训练目标，还需要判断模型、数据和计算怎样投入。
补充推导、边界与来源
再想一步
自监督目标由数据构造，但并不省略误差计算与优化。一个训练位置的目标确定，不等于语言中只有一个合理续写；损失衡量的是对给定训练目标分配的概率。
从本页继续阅读
- 一次文本训练的完整过程：在 A/B 记录上继续看目标右移、预测计分和参数更新。
- BERT 的遮挡语言建模目标：原论文3.1节说明如何从可见上下文预测被选中位置。
本页证据与条件
中文切分为教学构造；MLM 目标核对 BERT 原论文 §3.1，未展示模型实测预测。