I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
加速与分布式 / READING NOTES

第 11 章 投机解码:原理、Draft 方案与 vLLM 实战

精确采样、Draft Tree、收益边界与 vLLM 实战

推理优化模块第 5 章:沿用 AIInfraGuide 模块四大纲。

本章简介:自回归生成的下一个 Token 依赖已有输出,造成 Decode 的串行依赖;小 batch 下又常伴随权重读取与 GPU 利用率不足。Speculative Decoding 通过“先猜后验”减少昂贵 Target 的串行调用,本章把采样原理、候选生成、收益边界和实际配置连接起来。

先在 11.1 推导精确采样,再在 11.2 比较独立 Draft 与无模型方案,11.3 学习 Medusa / EAGLE 和候选树,11.4 检查成本与 KV 状态,最后在 11.5 配置 vLLM 并记录代码 / 对话的接受率。理论上的分布保证与 GPU 实测结论分别说明。

本章小文章