I·Infra Notes AI Infra 工程实践指南 ← 返回主博客
模型与缓存 / READING NOTES

第 6 章 KV Cache、PagedAttention 与 Prefix Cache

KV 块分配、分页寻址与前缀复用

承上:FlashAttention 解决一次注意力计算的 IO;多轮生成还需要管理长期存活的 KV。

本章小文章