I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
生产服务与端侧 / READING NOTES

17.2 技术叠加:兼容矩阵与逐项归因

选型决策、技术叠加与端到端交付

正确性基线 → Batch / Chunked Prefill → Prefix Cache
  → 权重 / KV 量化 → Graph / compile → 投机 → 多卡 / PD

这是归因顺序示例,不是所有模型的固定最优配置。每次增加一项,重新验证质量、终止语义、内存账本和相同 workload 性能;最后验证组合配置。

组合 需要检查
量化 + 投机 Target 的参照分布、Draft 匹配、接受率和融合后端
Prefix + MultiLoRA / 多模态 缓存身份是否包含 Adapter / 媒体相关状态
Graph + 动态批次 / 投机 捕获 shape、padding、静态地址与回退路径
KV 量化 + PD dtype / scale / block layout 与 Connector 支持
TP / EP + batching 负载均衡、collective 顺序、每 rank KV 和 workspace

不同优化共享瓶颈,收益不能简单相乘。例如权重量化降低带宽时间后,CPU 调度或 Attention 更可能占比上升;投机在饱和 batch 下可能消耗更大验证预算。