20260429:一些新东西

concepts/mixture-of-attention-schemes.md

@@ -0,0 +1,14 @@
+# Mixture of Attention Schemes (MoAS)
+
+**注意力方案混合路由**，根据 Token 复杂度动态分配注意力类型。
+
+## 核心思想
+
+"简单" Token 用廉价 [[multi-query-attention|MQA]]，"困难" Token 用强大 [[multi-head-attention|MHA]]，实现条件计算。
+
+## 相关概念
+
+- [[multi-head-attention]] — MHA
+- [[grouped-query-attention]] — GQA
+- [[duo-attention]] — 另一种分类方案
+- [[llm-attention-survey-2026]] — 综述参考