约 5 分钟阅读 精选
投机解码的五条路线：从小模型到 Prompt Lookup
用结构图拆解 Draft Model、MTP、EAGLE、Medusa 与 N-gram：候选如何产生、如何验证，以及什么时候值得用。
文章
随笔与工作笔记。
长文、简短笔记和技术总结，按发布日期排列。
约 3 分钟阅读 精选
Attention is All You Need: A Deep Dive
深入解析 Transformer 架构的开创性论文，理解 Self-Attention 如何革新了 Deep Learning。
约 3 分钟阅读 精选
Transformer Positional Encoding Explained
理解 Transformer 如何通过 Positional Encoding 注入序列顺序信息，以及正弦函数设计的巧妙之处。
约 4 分钟阅读
Multi-Head Attention: An Intuitive Guide
从直觉到实现，理解为什么 Transformer 需要多个 Attention Head，以及它们各自在学习什么。