20260601

concepts/knowledge-retention.md

@@ -0,0 +1,41 @@
+---
+title: "知识保留 (Knowledge Retention)"
+created: 2026-05-21
+type: concept
+tags: ["continual-learning", "catastrophic-forgetting"]
+sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
+---
+
+# 知识保留 (Knowledge Retention)
+
+## 定义
+
+知识保留是[[evolving-knowledge-injection|进化知识注入]]中的关键目标之一，指在注入新知识后**保持模型已有通用能力不退化**。
+
+## 方法谱系
+
+### 有效方法
+
+- [[data-replay|数据回放（Replay）]]：直接排练——混合旧数据训练，排名第 1（LoRA）和第 3（Full-FT）
+- [[moe-lora|MoELoRA]]：结构隔离——为新知识划出专用参数区，排名第 2
+
+### 无效方法
+
+- **EWC**（Elastic Weight Consolidation）：通过正则化约束重要参数不变——排名第 5，几乎无缓解
+- **LwF**（Learning without Forgetting）：通过知识蒸馏保留旧模型输出——排名第 6，甚至加剧退化
+
+## 核心洞察
+
+**直接排练 > 结构隔离 > 间接约束**
+
+EWC 和 LwF 的失败说明：试图通过"冻结"参数来保留能力的策略在多模态进化知识注入场景下基本无效——新知识与旧知识的交互远复杂于简单的参数权重保护。
+
+## 与知识增强的协同
+
+一个意外发现是[[knowledge-aware-augmentation|知识感知增强]]本身也能部分缓解能力退化，这暗示了**主动学习**与**能力保留**之间存在协同效应。
+
+## 参见
+
+- [[capability-degradation|能力退化]]
+- [[knowledge-adaptation|知识适应]]
+- [[catastrophic-forgetting|灾难性遗忘]]