23.2 V3.2:DSA 省主 Attention 计算,索引器仍要算
DeepSeek V3.2/V4/V4.1 技术报告、长上下文缓存与同期架构
V3.2 在 MLA latent KV 上增加轻量 Lightning Indexer:它为当前 Query 与历史 Token 计算选择分数,Top-k 找出最相关的 KV 条目,再用这些条目执行主 Attention。主 Attention 从长度为 L 的密集访问近似变成每个 Query 访问 k≪L 条;对长度为 L 的整段 Prefill,主 Attention 复杂度从 O(L²) 变为 O(Lk)。论文明确指出索引器仍有 O(L²) 项,但计算常数较小,并以 FP8 和专用 Kernel 降低开销。V3.2 原文 §2.1
Query → Indexer 扫候选历史并打分 → Top-k 索引
→ 从 MLA KV Cache gather 被选条目 → 主 Attention → 输出
工程账本:Sparse 不等于旧 KV 可以删除。为未来 Query 的选择保留哪些历史条目、索引 K 的存储格式、Top-k/Gather 的随机访存、选择结果的顺序与 mask,都需单独核对。若 Indexer 或 Gather 占了主要时间,主 Attention 的理论降幅不会按比例转化为 TTFT/TPOT。Profiler 应拆出 index / select / gather / core attention;精度验收要把索引召回与最终 logits、长文检索任务一起看。DSA 是针对模型训练出的结构,不能在普通 MLA/MHA checkpoint 上只换一个 Kernel 就宣称等价。