约 3 分钟阅读 精选
Attention is All You Need: A Deep Dive
深入解析 Transformer 架构的开创性论文，理解 Self-Attention 如何革新了 Deep Learning。
JENNY MA / TECHNICAL NOTES
把复杂技术，
整理成清晰的路径。
记录 AI Infra、Agent、机器学习实验与工程实践。从短文到系统手册，持续整理可以复用的知识。
01 / ARTICLES
从基础开始阅读
先理解 Transformer，再逐步读到推理加速。
约 4 分钟阅读
Multi-Head Attention: An Intuitive Guide
从直觉到实现，理解为什么 Transformer 需要多个 Attention Head，以及它们各自在学习什么。
约 3 分钟阅读 精选
Transformer Positional Encoding Explained
理解 Transformer 如何通过 Positional Encoding 注入序列顺序信息，以及正弦函数设计的巧妙之处。
约 5 分钟阅读 精选
投机解码的五条路线：从小模型到 Prompt Lookup
用结构图拆解 Draft Model、MTP、EAGLE、Medusa 与 N-gram：候选如何产生、如何验证，以及什么时候值得用。