0.3 四层总览表（可直接背）
一条请求的时间、字节与状态账本
| 层次 | 技术 | 核心作用 | 简单例子 |
|---|---|---|---|
| 模型层 | 量化 | 用更低精度表示权重/激活，减少显存和计算量 | FP16→FP8/INT8/INT4；AWQ、GPTQ |
| GQA / MQA | 减少 K/V Head 数，降低 KV Cache 和 Attention 访存 | Llama-2 70B 用 GQA；MQA 多 Q Head 共用一组 KV | |
| MLA | 把 KV 压缩到低维 latent，进一步压缩 KV Cache | DeepSeek-V2/V3 的 Multi-head Latent Attention | |
| MTP / 投机解码 | 一次预测多个 Token，减少逐 Token Decode 次数 | DeepSeek MTP；Draft + Target Speculative Decoding | |
| 算子层 | FlashAttention | 分块计算 Attention，减少 HBM 读写，不物化完整 Attention 矩阵 | FlashAttention-2/3 |
| PagedAttention | 像 OS 分页一样管理 KV Cache，避免连续显存和碎片 | vLLM PagedAttention | |
| 融合 RMSNorm/RoPE/SiLU | 多个小算子合并，减少 Kernel Launch 和显存读写 | RMSNorm+Residual、SiLU+Mul、RoPE Fusion | |
| Triton / CUDA Kernel | 手写高性能 GPU 算子，提高访存/并行/Tensor Core 利用率 | Triton Attention、CUDA SGEMM | |
| FP8 | 8-bit 浮点计算，提高 Tensor Core 吞吐、降低带宽 | H100 FP8 GEMM、Transformer Engine | |
| 执行层 | CUDA Graph | 把一系列 Kernel 预先捕获后整体执行，降低 CPU Launch 开销 | vLLM Decode CUDA Graph |
| torch.compile | 编译 PyTorch Graph，做算子融合、图优化、Kernel 生成 | TorchInductor + Triton | |
| 异步 Pipeline | CPU 调度 / GPU 计算 / 数据传输并行，隐藏等待 | CPU 准备下一 Batch 时 GPU 正在 Decode | |
| 系统层 | Continuous Batching | 请求动态加入/退出 Batch，提高 GPU 利用率 | vLLM、SGLang |
| Chunked Prefill | 长 Prompt 不一次 Prefill，而是分块执行 | 8192 Token Prompt 拆成 512/1024 Token Chunk | |
| Prefix Cache | 相同 Prompt 前缀直接复用已有 KV Cache | System Prompt、多人共享长 Context | |
| KV Cache 管理 | 动态分配/释放/复用/换出 KV Cache | Block Manager、KV Cache Offload | |
| TP / PP / EP | 把大模型拆到多 GPU 上 | Tensor / Pipeline / Expert Parallel | |
| PD 分离 | Prefill 和 Decode 放到不同 GPU/机器，分别优化 | Prefill GPU 高算力、Decode GPU 高带宽 | |
| 高效 Serving | 调度+缓存+流式+负载均衡形成完整在线服务 | vLLM、SGLang、TensorRT-LLM |
上表中出现的缩写，正文对应章节都会给出全称与解释；此处先建立整体印象即可。