第 7 章 LLM 推理基础
自回归生成、KV 生命周期、性能指标与 Roofline
本章简介:从自回归依赖关系出发,区分 Prefill 与 Decode,给 KV 生命周期、请求延迟和瓶颈建立统一账本。
推理优化模块第 1 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。
自回归生成、KV 生命周期、性能指标与 Roofline
本章简介:从自回归依赖关系出发,区分 Prefill 与 Decode,给 KV 生命周期、请求延迟和瓶颈建立统一账本。
推理优化模块第 1 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。