I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
推理基础与引擎 / READING NOTES

第 7 章 LLM 推理基础

自回归生成、KV 生命周期、性能指标与 Roofline

本章简介:从自回归依赖关系出发,区分 Prefill 与 Decode,给 KV 生命周期、请求延迟和瓶颈建立统一账本。

推理优化模块第 1 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。

本章小文章