推理基础与引擎 / READING NOTES

第 8 章推理引擎核心技术

分页、连续批处理、前缀缓存、图与编译

约 1 分钟阅读·持续更新

本章简介：以请求进度、KV 所有权和每轮执行计划为主线，理解分页、连续批处理、前缀复用和运行时优化如何协同。

推理优化模块第 2 章：沿用 AIInfraGuide 模块四的章节与小节顺序；手册采用连续章号。

本章小文章