23.1 先把报告放到同一条技术线上
DeepSeek V3.2/V4/V4.1 技术报告、长上下文缓存与同期架构
| 报告 | 本章要读的技术变化 | 对应的系统问题 |
|---|---|---|
| DeepSeek-V3（2024） | MLA、DeepSeekMoE、无辅助损失负载均衡、MTP、FP8 训练 | KV 容量、专家通信、训练吞吐、候选 Token |
| DeepSeek-R1（2025） | 大规模 RL 与蒸馏 | 推理时思考长度、Rollout 吞吐与服务成本 |
| DeepSeek-V3.2（2025） | MLA 上的 DeepSeek Sparse Attention（DSA） | 长上下文主 Attention 计算量 |
| DeepSeek-V4（2026） | CSA/HCA 混合压缩注意力、mHC、Muon、异构 KV 与 EP Kernel | 百万 Token 的计算、存储、训练稳定性及通信 |
| DeepSeek-V4.1-Flash（2026-09） | CED、CSA2、FP4 主 KV、SWA Bounded Replay、DSpark | Prefill 成本、跨层 KV 复用与分层缓存成本 |
这条线可记成：MLA 压缩每个 Token 的 KV → DSA 减少每个 Query 实际读取的历史 → CSA/HCA 再减少历史条目数 → CSA2 跨层复用 → CED 减少长 Prompt 穿过的层数。每一步改变的维度不同，不能把“Attention FLOPs 降低”“HBM KV 降低”“持久缓存占用降低”和“端到端 TPOT 降低”混成同一个数字。R1 主要改变推理时计算需求与训练流程，不是上述 KV 结构的一环。
R1 的系统视角：GRPO 对同一个问题采样一组输出，以组内奖励计算相对优势，不使用 PPO 的独立 Value Model；R1-Zero 展示了长推理轨迹随 RL 出现，R1 再加入冷启动、多阶段训练与蒸馏。R1 原文 §2.1 对 Infra 来说，这意味着训练侧要为大量变长 Rollout、奖励计算和策略更新列吞吐账本；线上则应单独记录思考 Token、可见输出 Token、KV 峰值、TTFT 和整个回答时延。这是从报告负载形态推导出的工程检查项，不能用普通短回答压测代表推理模型的实际成本。