本页学习说明
本课指定教学配置为 L=32 层、每层 h_KV=8 组、每组维度 d_head=128，每数 BF16 占 b=2 bytes。KV 的常用存储估算为 $M_{KV}=2LTh_{KV}d_{head}b$，T 是已经进入缓存的输入与生成 token 总长度。首项 2 表示 K 与 V 两份，最后的 b 表示每数存储字节。
每 token：2×32×8×128×2=131072 bytes=128 KiB。8192 token：1073741824 bytes=1 GiB；32768 token=4 GiB。8 个互不共享、各长 8192 token 的请求共需 8 GiB KV。权重可以共享，当前上下文状态不能任意合并。
KiB=2¹⁰ bytes，GiB=2³⁰ bytes；与训练账本的十进制 GB 分开。GQA 是这种减少实际 KV 头/组数的一类架构安排，但本配置不是所有 8B 模型的固定规格。
原 KV 容量页 · 完整服务主题 · PagedAttention §2。
阅读完整讲义