I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
排障、适配与前沿报告 / READING NOTES

22.9 面试回答与实操交付

GPU/NPU 软件栈、算子迁移、精度定位与验收

什么是模型适配?“把模型从原软硬件栈迁到目标设备,覆盖框架、算子/模型结构、精度、性能、分布式和稳定性;我用能跑、跑对、跑快、跑稳验收,而不是只看设备 API 改动。”

输出错误怎么定位?“先固定模型、输入、dtype 和版本,保存 reference;比较 logits,再逐层和逐算子找第一处分歧;记录误差指标、shape/layout、位置和 KV 状态,修复后回归边界与并发场景。”

GPU 利用率低怎么定位?“先看系统时间线区分设备是否无任务可做;若有空洞,查 CPU 准备、launch、同步、传输和通信;若持续有工作,再对热点 Kernel 看 Roofline、吞吐、缓存、Warp Stall、寄存器与 occupancy。NPU 用对应平台工具和计数器走同样的分层思路。”

怎么证明适配成功?“交付版本/算子兼容矩阵、逐层误差表、端到端性能报告、Shape 覆盖矩阵和长时压力记录;每一项有可复现输入与通过阈值。”

二面准备按“是什么 → 为什么 → 怎么实现 → 出问题怎么定位 → 怎样证明收益 → Trade-off”组织回答。优先把本章与第 9、15、19 章连读,再对照第 7–8 章的 Prefill/Decode、KV 与调度账本,用同一个真实项目案例说明每一步的证据。