---
title: "知识保留 (Knowledge Retention)"
created: 2026-05-21
type: concept
tags: ["continual-learning", "catastrophic-forgetting"]
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
---

# 知识保留 (Knowledge Retention)

## 定义

知识保留是[[evolving-knowledge-injection|进化知识注入]]中的关键目标之一，指在注入新知识后**保持模型已有通用能力不退化**。

## 方法谱系

### 有效方法

- [[data-replay|数据回放（Replay）]]：直接排练——混合旧数据训练，排名第 1（LoRA）和第 3（Full-FT）
- [[moe-lora|MoELoRA]]：结构隔离——为新知识划出专用参数区，排名第 2

### 无效方法

- **EWC**（Elastic Weight Consolidation）：通过正则化约束重要参数不变——排名第 5，几乎无缓解
- **LwF**（Learning without Forgetting）：通过知识蒸馏保留旧模型输出——排名第 6，甚至加剧退化

## 核心洞察

**直接排练 > 结构隔离 > 间接约束**

EWC 和 LwF 的失败说明：试图通过"冻结"参数来保留能力的策略在多模态进化知识注入场景下基本无效——新知识与旧知识的交互远复杂于简单的参数权重保护。

## 与知识增强的协同

一个意外发现是[[knowledge-aware-augmentation|知识感知增强]]本身也能部分缓解能力退化，这暗示了**主动学习**与**能力保留**之间存在协同效应。

## 参见

- [[capability-degradation|能力退化]]
- [[knowledge-adaptation|知识适应]]
- [[catastrophic-forgetting|灾难性遗忘]]