myWiki/concepts/grouped-query-attention.md

Grouped-Query Attention (GQA)

分组查询注意力，在 MHA 和 MQA 之间的折中方案，由 Ainslie 等 2023 年提出。

定义

GQA 将 Q 头分为 G 组，每组共享一个 KV 头。标准 MHA 是 G = h（每组1个Q头），MQA 是 G = 1（所有Q头共享一个KV头）。

核心洞见

并非所有注意力都需要独立的 KV 头——GQA 证明分组共享 KV 可以在几乎不损失质量的前提下大幅减少 KV 缓存。这也是 Llama 3 系列采用的设计。

关键参数

• 组数 G: G = h → MHA；G = 1 → MQA；1 < G < h → GQA
• 缓存减少: KV 缓存缩减为 MHA 的 G/h，典型的 8 分组可将缓存减少 87.5%
• 质量: G = 4~8 时质量与 MHA 接近

相关概念

• multi-head-attention — 标准 MHA (G = h)
• multi-query-attention — 极端 MQA (G = 1)
• multi-head-latent-attention — 更激进的 MLA 压缩
• kv-cache-bottleneck — 缓存瓶颈驱动 GQA 设计
• llm-attention-survey-2026 — 综述参考