第 12 章 分布式推理
TP、PP、DP、EP 与 Ray 多节点实践
本章简介:把多卡看作容量、并发和通信拓扑的共同选择;分别分析 TP、PP、DP、EP,并在扩大集群前验证每个 rank 的一致性。
推理优化模块第 6 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。
TP、PP、DP、EP 与 Ray 多节点实践
本章简介:把多卡看作容量、并发和通信拓扑的共同选择;分别分析 TP、PP、DP、EP,并在扩大集群前验证每个 rank 的一致性。
推理优化模块第 6 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。