20260601

concepts/moe-lora.md

@@ -0,0 +1,41 @@
+---
+title: "MoELoRA"
+created: 2026-05-21
+type: concept
+tags: ["mixture-of-experts", "lora", "knowledge-retention", "continual-learning"]
+sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
+---
+
+# MoELoRA
+
+## 定义
+
+MoELoRA 是将[[mixture-of-experts|混合专家（MoE）]]架构与[[lora|LoRA]]结合的知识保留方法，通过为新增知识**划出专用参数区域**来防止参数冲突。
+
+## 机制
+
+- 利用 MoE 的专家路由机制为不同知识域分配独立的参数子空间
+- 新知识被路由到专门的专家模块，避免覆盖已有的通用能力参数
+- LoRA 的低秩适配保证参数效率
+
+## 效果
+
+在 MMEVOKE 实验中：
+- 能力退化仅 **2.05%**（指令遵循维度），在 12 个基准中排名第 2
+- 在 MathVista 上**超过** Vanilla +1.18%
+- 显著优于 EWC 和 LwF 等间接约束方法
+
+## 为什么优于 EWC/LwF
+
+| 方法 | 机制 | 效果 |
+|------|------|------|
+| MoELoRA | 结构性隔离新知识 | 有效 |
+| EWC | 间接约束重要参数不变 | 几乎无效 |
+| LwF | 蒸馏旧模型输出 | 甚至加剧退化 |
+
+## 参见
+
+- [[data-replay|数据回放]]
+- [[knowledge-retention|知识保留]]
+- [[mixture-of-experts|混合专家]]
+- [[lora|LoRA]]