I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
生产服务与端侧 / READING NOTES

第 18 章 端侧推理

端侧约束、Runtime、ExecuTorch 与稳态性能

本章简介:沿模型导出、后端委托、Runtime 与 App 集成理解资源受限推理,区别冷启动、短时峰值与热稳态性能。

推理优化模块第 12 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。

本章小文章