第 13 章 PD 解耦:Prefill / Decode Disaggregation
阶段互扰、KV 传输、Goodput 与资源池配比
本章简介:把阶段互扰、KV 传输、SLO 调度和资源池容量放在同一张时间线上,判断解耦是否真的提升有效服务能力。
推理优化模块第 7 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。
阶段互扰、KV 传输、Goodput 与资源池配比
本章简介:把阶段互扰、KV 传输、SLO 调度和资源池容量放在同一张时间线上,判断解耦是否真的提升有效服务能力。
推理优化模块第 7 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。