22.7 多卡适配：计算分片与通信一致性
GPU/NPU 软件栈、算子迁移、精度定位与验收
TP 中，Column Parallel 把 W=[W₁,W₂] 按输出维切分，各设备先算本地输出；后续需要完整输出时才做 AllGather，也可能由下一层直接消费分片。Row Parallel 把输入/权重按归约维切分，局部部分和通常通过 AllReduce 或 ReduceScatter 合并。通信要按实际计算图决定，不能说“Column Parallel 一定 AllGather”。PP 还要测流水线空泡，DP 要看实例/批次分配，MoE 的 EP 重点关注 Token 路由、AllToAll、Expert 负载偏斜与还原顺序。
调试多卡时给每个 rank 的 collective 编号、shape、dtype、group、输入 token 数和错误状态打点。某 rank 先 OOM 或跳过分支，其他 rank 可能表现为 HCCL/NCCL Hang；根因可能在更早的单卡错误。验证单卡 → 双卡 → 目标并行度，比较单卡与分布式 logits、吞吐、P99 和通信占比，再判断 TP/EP 的容量收益能否覆盖通信成本。