0.7 收益与代价的权衡原则
一条请求的时间、字节与状态账本
面试官喜欢问「XX 技术的代价是什么」。记住这张表，回答时永远先说收益、再说代价、最后说适用边界。
| 技术 | 收益 | 代价 / 边界 |
|---|---|---|
| 量化 | 省显存、省带宽 | 精度损失、需校准、算子支持有限 |
| CUDA Graph | 省 CPU Launch 开销 | 静态形状/地址、额外显存、需预捕获多套 |
| 投机解码 | 减少串行 Decode 次数 | Draft 成本、接受率不确定、显存换收益 |
| Chunked Prefill | 降低 TBT 抖动、防 OOM | 有 Token 被浪费、调度更复杂 |
| PD 分离 | 各自最优、互不干扰 | KV 传输开销、需要额外网络/机器 |
| MoE | 参数大而激活少 | 通信/负载均衡/工程复杂度陡增 |