本页学习说明
本轮现行算例：正权重w=(2,1,4)，value=(10,20,30)，前两项为块1、第三项为块2。
$$u_1=2\times10+1\times20=40,\quad l_1=2+1=3;\qquad u_2=4\times30=120,\quad l_2=4.$$
$$o=\frac{u_1+u_2}{l_1+l_2}=\frac{160}{7}\approx22.86.$$
直接平均两个局部均值是$(40/3+30)/2=65/3\approx21.67$，与正确输出不同，因为两块分母不等。
稳定递推。 logits=(ln2,0,ln4)。首块用m=ln2缩放，得到u=20、l=1.5；第二块的最大值ln4更大，旧分子和分母一起乘1/2，第二块贡献u_b=30、l_b=1。因此新u=40、l=1.75，输出40/1.75=160/7。一般公式为$m'=\max(m,m_b)$，$u'=e^{m-m'}u+e^{m_b-m'}u_b$、$l'=e^{m-m'}l+e^{m_b-m'}l_b$。
完整向量实现与因果mask见在线softmax正文。旧权重(2,1,3)与130/6只作为历史算例，不是本页当前数据。
阅读完整讲义