排障、适配与前沿报告 / READING NOTES

21.4 数字速记

解释、实现和调试能力验收

约 1 分钟阅读·持续更新

数字	含义
2 × L × H_kv × D × S × B × dtype	KV Cache 大小公式
< 4%	PagedAttention 显存浪费
2–24×	vLLM 相比 HF 的吞吐提升（论文）
~90%	MLA 相比 MHA 的 KV Cache 减少量
1/2、1/4	INT8、INT4 KV 量化的理论压缩比
2×	FP8 相比 FP16 的 Tensor Core 峰值吞吐
1.5–2×	FA3 相比 FA2 在 H100 上的提升
质量阈值需实测	cosine 只定位局部误差；PPL、任务分数与端到端行为决定量化是否可用