---
title: "MoELoRA"
created: 2026-05-21
type: concept
tags: ["mixture-of-experts", "lora", "knowledge-retention", "continual-learning"]
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
---

# MoELoRA

## 定义

MoELoRA 是将[[mixture-of-experts|混合专家（MoE）]]架构与[[lora|LoRA]]结合的知识保留方法，通过为新增知识**划出专用参数区域**来防止参数冲突。

## 机制

- 利用 MoE 的专家路由机制为不同知识域分配独立的参数子空间
- 新知识被路由到专门的专家模块，避免覆盖已有的通用能力参数
- LoRA 的低秩适配保证参数效率

## 效果

在 MMEVOKE 实验中：
- 能力退化仅 **2.05%**（指令遵循维度），在 12 个基准中排名第 2
- 在 MathVista 上**超过** Vanilla +1.18%
- 显著优于 EWC 和 LwF 等间接约束方法

## 为什么优于 EWC/LwF

| 方法 | 机制 | 效果 |
|------|------|------|
| MoELoRA | 结构性隔离新知识 | 有效 |
| EWC | 间接约束重要参数不变 | 几乎无效 |
| LwF | 蒸馏旧模型输出 | 甚至加剧退化 |

## 参见

- [[data-replay|数据回放]]
- [[knowledge-retention|知识保留]]
- [[mixture-of-experts|混合专家]]
- [[lora|LoRA]]