21.5 常见易错点 / 陷阱

易错点	正确认知
❌ FlashAttention 减少 FLOPs	✅ 减少 HBM IO；反向反而增加 FLOPs
❌ CUDA Graph 提升 GPU 计算速度	✅ 只减少 CPU Launch/调度开销
❌ KV 量化省显存	✅ 显存按剩余定容，涨的是可用块数/上下文容量
❌ MoE 省显存	✅ 省计算；所有 Expert 都要驻留显存
❌ 投机解码必然有损	✅ 精确验收可保持目标分布；近似验收另当别论
❌ Prefix Cache 只需比较 token IDs	✅ 还要包含模型/LoRA/位置/隔离上下文；完整命中时另行处理 logits
❌ 量化后 attention 数值接近就代表质量无损	✅ 需测 PPL / 任务指标，exact token agreement 不是语言质量指标
❌ 静态 Batching 就够了	✅ 静态 Batching 会因请求长度不一浪费大量算力
❌ Chunked Prefill 没有代价	✅ 更多调度边界与可能的算子效率变化，尾延迟需实测
❌ 带宽减半 Kernel 就快一倍	✅ 受寄存器压力、ALU、非连续访存等影响，实际收益打折