第 9 章 深入 vLLM 架构与源码
vLLM 快速入门、V1 架构、调度源码与调优
本章简介:先跑通最小服务,再从请求入口追踪 V1 状态更新,最后用固定工作负载选择参数和框架。
推理优化模块第 3 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。
vLLM 快速入门、V1 架构、调度源码与调优
本章简介:先跑通最小服务,再从请求入口追踪 V1 状态更新,最后用固定工作负载选择参数和框架。
推理优化模块第 3 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。