排障、适配与前沿报告 / READING NOTES

21.3 必背对比表

解释、实现和调试能力验收

约 1 分钟阅读·持续更新

① 四种 Attention 变体

变体	KV Head 数	KV Cache	质量	代表
MHA	= Q Head	1.0×	最好	早期模型
GQA	< Q Head（分组）	g/n×	接近 MHA	Llama-2 70B / Llama-3
MQA	1	1/n×	有损失	PaLM、Falcon
MLA	latent 压缩	~0.1×	好	DeepSeek-V2/V3

② 量化方法

方法	类型	粒度	特点
GPTQ	PTQ weight-only	per-group	二阶误差补偿，经典
AWQ	PTQ weight-only	per-channel	激活感知，保护 salient 通道
SmoothQuant	W8A8	per-channel	迁移激活离群值到权重
FP8	W8A8	per-tensor/block	动态范围大，新卡首选

③ 四层加速技术一览（见 0.2 总览表）