10.6 量化选型与 vLLM 实战：决策树 + 验证

建立 BF16/FP16 reference，固定 workload / SLO / 质量预算
│
├─ 权重装不下，或短 Decode 读权重占主导
│    → 先比较 GPTQ / AWQ W4A16 + 受支持的融合 Kernel
│
├─ 大 Prefill / 高并发 GEMM 计算占主导
│    → 比较 INT8 W8A8 / 原生 FP8
│    → Blackwell 上有匹配模型与后端时，再评估 NVFP4 / MXFP4
│
├─ 长上下文 / 高并发 KV 容量或读取占主导
│    → 独立启用受支持的 FP8 KV；更低 bit 需专用方案与长文本验证
│
└─ CPU 调度、通信、排队占主导
     → 量化未必改善主要瓶颈，先定位对应系统路径

# 记录实际环境，并查看本机版本可用的量化 / KV 参数。
python -c 'import vllm; print(vllm.__version__)'
nvidia-smi
vllm serve --help

# BF16 reference；按显存与模型能力调整长度。
vllm serve /models/model-bf16 --dtype bfloat16 --max-model-len 8192

# 已量化 checkpoint：由 quantization_config 自动识别适配的加载路径。
vllm serve /models/model-awq-int4 --dtype half --max-model-len 8192
vllm serve /models/model-gptq-int4 --dtype half --max-model-len 8192

# 独立启用 FP8 KV；checkpoint 应含匹配格式的校准 K/V scales。
vllm serve /models/model-with-fp8-kv-scales \
  --kv-cache-dtype fp8_e4m3 --max-model-len 8192

# 预量化 FP8 / NVFP4 / MXFP4 checkpoint：同样先由模型配置识别。
vllm serve /models/model-fp8 --max-model-len 8192
vllm serve /models/model-nvfp4 --max-model-len 8192
vllm serve /models/model-mxfp4 --max-model-len 8192

def quant_check(ref, test, atol, rtol):
    diff = (ref.float() - test.float()).abs()
    return {
        "ok": torch.allclose(ref.float(), test.float(), atol=atol, rtol=rtol),
        "max_abs": diff.max().item(),
        "mean_abs": diff.mean().item(),
        "finite": torch.isfinite(test).all().item(),
    }