I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
加速与分布式 / READING NOTES

第 12 章 分布式推理

TP、PP、DP、EP 与 Ray 多节点实践

本章简介:把多卡看作容量、并发和通信拓扑的共同选择;分别分析 TP、PP、DP、EP,并在扩大集群前验证每个 rank 的一致性。

推理优化模块第 6 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。

本章小文章