myWiki/concepts/moe-lora.md

title, created, type, tags, sources

title	created	type	tags	sources
MoELoRA	2026-05-21	concept	mixture-of-experts lora knowledge-retention continual-learning	when-large-multimodal-models-confront-evolving-knowledge

MoELoRA

定义

MoELoRA 是将mixture-of-experts架构与lora结合的知识保留方法，通过为新增知识划出专用参数区域来防止参数冲突。

机制

• 利用 MoE 的专家路由机制为不同知识域分配独立的参数子空间
• 新知识被路由到专门的专家模块，避免覆盖已有的通用能力参数
• LoRA 的低秩适配保证参数效率

效果

在 MMEVOKE 实验中：

• 能力退化仅 2.05%（指令遵循维度），在 12 个基准中排名第 2
• 在 MathVista 上超过 Vanilla +1.18%
• 显著优于 EWC 和 LwF 等间接约束方法

为什么优于 EWC/LwF

方法	机制	效果
MoELoRA	结构性隔离新知识	有效
EWC	间接约束重要参数不变	几乎无效
LwF	蒸馏旧模型输出	甚至加剧退化

参见

• data-replay
• knowledge-retention
• mixture-of-experts
• lora