# Multi-head Latent Attention (MLA)

**多潜在头注意力**，DeepSeek 团队在 DeepSeek-V2 (2024) 中提出的革命性注意力机制。

## 核心思想

MLA 通过**低秩联合压缩**将 KV 映射到远小于原始维度的潜在空间，推理时只需缓存压缩后的潜在向量，解码时再解压重建 KV。这与 MQA/GQA 的"共享头"策略不同——MLA 是**信息论意义上的压缩**，而非简单的共享。

## 关键机制

1. **低秩压缩**: KV 先映射到 d_latent << d 的潜在空间
2. **潜在缓存**: 推理时只缓存压缩后的潜在向量，而非完整 KV
3. **按需重建**: 解码时从潜在向量高效重建完整 KV

## 里程碑意义

- **缓存缩减**: KV 缓存可减少至 MHA 的 1/10 ~ 1/20
- **质量保持**: 压缩不显著影响模型性能
- **工业落地**: DeepSeek-V2/V3 的核心推理效率引擎

## 与 HCA 关系

MLA 可视为 [[heavily-compressed-attention|HCA]] 的泛化形式——HCA 是 DeepSeek-V4 中 MLA 的增强版，融合了流形约束。

## 相关概念

- [[multi-head-attention]] — MHA 基线
- [[grouped-query-attention]] — GQA 分组方案
- [[kv-cache-bottleneck]] — 缓存瓶颈问题
- [[heavily-compressed-attention]] — DeepSeek-V4 的 HCA
- [[deepseek-v4-million-token-context]] — 百万 Token 上下文应用
- [[llm-attention-survey-2026]] — 综述参考