17.2 技术叠加:兼容矩阵与逐项归因
选型决策、技术叠加与端到端交付
正确性基线 → Batch / Chunked Prefill → Prefix Cache
→ 权重 / KV 量化 → Graph / compile → 投机 → 多卡 / PD
这是归因顺序示例,不是所有模型的固定最优配置。每次增加一项,重新验证质量、终止语义、内存账本和相同 workload 性能;最后验证组合配置。
| 组合 | 需要检查 |
|---|---|
| 量化 + 投机 | Target 的参照分布、Draft 匹配、接受率和融合后端 |
| Prefix + MultiLoRA / 多模态 | 缓存身份是否包含 Adapter / 媒体相关状态 |
| Graph + 动态批次 / 投机 | 捕获 shape、padding、静态地址与回退路径 |
| KV 量化 + PD | dtype / scale / block layout 与 Connector 支持 |
| TP / EP + batching | 负载均衡、collective 顺序、每 rank KV 和 workspace |
不同优化共享瓶颈,收益不能简单相乘。例如权重量化降低带宽时间后,CPU 调度或 Attention 更可能占比上升;投机在饱和 batch 下可能消耗更大验证预算。