I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
推理基础与引擎 / READING NOTES

第 9 章 深入 vLLM 架构与源码

vLLM 快速入门、V1 架构、调度源码与调优

本章简介:先跑通最小服务,再从请求入口追踪 V1 状态更新,最后用固定工作负载选择参数和框架。

推理优化模块第 3 章:沿用 AIInfraGuide 模块四的章节与小节顺序;手册采用连续章号。

本章小文章