模型与缓存 / READING NOTES 第 5 章 Attention 与 FlashAttentionGQA/MLA、在线 Softmax 与 FlashAttention 约 1 分钟阅读·持续更新 承上:已经知道 Q/K/V 从何而来;现在需要理解长序列的 Attention 如何计算。 本章小文章5.1 从朴素 Attention 到分块执行约 3 分钟阅读↗ 5.2 GQA / MQA约 2 分钟阅读↗ 5.3 MLA(Multi-head Latent Attention)约 1 分钟阅读↗ 5.4 FlashAttention(1/2/3 演进)约 5 分钟阅读↗