I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
加速与分布式 / READING NOTES

13.4 Goodput 与 SLO 调度:不只优化平均吞吐

阶段互扰、KV 传输、Goodput 与资源池配比

Gateway 同时跟踪 P / D 队列与 KV 可用槽位;Prefill 完成但 D 池没有容量时,请求仍无法稳定生成。admission 可依据预测 prompt / output 长度预留资源,记录估计误差和拒绝策略。

验收标准包含首 token 和生成阶段两类约束,只满足其中一个不计为通过。分别记录端到端 TTFT、最差 ITL、超时 / 取消与有效完成率;指标定义见15.1。为缓解 D 池拥塞无限扩 P 池只会堆积中间 KV,应设置有界等待和传输背压。