I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
加速与分布式 / READING NOTES

13.5 池配比与限制:容量起点和长尾校准

阶段互扰、KV 传输、Goodput 与资源池配比

设到达率 λ,单请求在 P / D 池的平均设备服务需求分别为 sP、sD(设备秒),容量起点为 nP ≥ λsP/ρP、nD ≥ λsD/ρD,ρ 是选定的目标负载率。连续批处理会改变服务需求,这个近似需用不同池大小的实测校准;平均稳定也不保证 P99 SLO。

比较不同 P:D 配比时固定总成本、模型和请求分布;扫描输入 / 输出长度比与到达率。池规模增加还会改变批处理效率和网络竞争,容量公式只用于给出起点。允许两阶段采用不同 TP 布局前,确认 Connector 的分片映射支持与转换成本。