42 lines
1.2 KiB
Markdown
42 lines
1.2 KiB
Markdown
---
|
||
title: "MoELoRA"
|
||
created: 2026-05-21
|
||
type: concept
|
||
tags: ["mixture-of-experts", "lora", "knowledge-retention", "continual-learning"]
|
||
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
|
||
---
|
||
|
||
# MoELoRA
|
||
|
||
## 定义
|
||
|
||
MoELoRA 是将[[mixture-of-experts|混合专家（MoE）]]架构与[[lora|LoRA]]结合的知识保留方法，通过为新增知识**划出专用参数区域**来防止参数冲突。
|
||
|
||
## 机制
|
||
|
||
- 利用 MoE 的专家路由机制为不同知识域分配独立的参数子空间
|
||
- 新知识被路由到专门的专家模块，避免覆盖已有的通用能力参数
|
||
- LoRA 的低秩适配保证参数效率
|
||
|
||
## 效果
|
||
|
||
在 MMEVOKE 实验中：
|
||
- 能力退化仅 **2.05%**（指令遵循维度），在 12 个基准中排名第 2
|
||
- 在 MathVista 上**超过** Vanilla +1.18%
|
||
- 显著优于 EWC 和 LwF 等间接约束方法
|
||
|
||
## 为什么优于 EWC/LwF
|
||
|
||
| 方法 | 机制 | 效果 |
|
||
|------|------|------|
|
||
| MoELoRA | 结构性隔离新知识 | 有效 |
|
||
| EWC | 间接约束重要参数不变 | 几乎无效 |
|
||
| LwF | 蒸馏旧模型输出 | 甚至加剧退化 |
|
||
|
||
## 参见
|
||
|
||
- [[data-replay|数据回放]]
|
||
- [[knowledge-retention|知识保留]]
|
||
- [[mixture-of-experts|混合专家]]
|
||
- [[lora|LoRA]]
|