42 lines
1.5 KiB
Markdown
42 lines
1.5 KiB
Markdown
---
|
||
title: "知识保留 (Knowledge Retention)"
|
||
created: 2026-05-21
|
||
type: concept
|
||
tags: ["continual-learning", "catastrophic-forgetting"]
|
||
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
|
||
---
|
||
|
||
# 知识保留 (Knowledge Retention)
|
||
|
||
## 定义
|
||
|
||
知识保留是[[evolving-knowledge-injection|进化知识注入]]中的关键目标之一，指在注入新知识后**保持模型已有通用能力不退化**。
|
||
|
||
## 方法谱系
|
||
|
||
### 有效方法
|
||
|
||
- [[data-replay|数据回放（Replay）]]：直接排练——混合旧数据训练，排名第 1（LoRA）和第 3（Full-FT）
|
||
- [[moe-lora|MoELoRA]]：结构隔离——为新知识划出专用参数区，排名第 2
|
||
|
||
### 无效方法
|
||
|
||
- **EWC**（Elastic Weight Consolidation）：通过正则化约束重要参数不变——排名第 5，几乎无缓解
|
||
- **LwF**（Learning without Forgetting）：通过知识蒸馏保留旧模型输出——排名第 6，甚至加剧退化
|
||
|
||
## 核心洞察
|
||
|
||
**直接排练 > 结构隔离 > 间接约束**
|
||
|
||
EWC 和 LwF 的失败说明：试图通过"冻结"参数来保留能力的策略在多模态进化知识注入场景下基本无效——新知识与旧知识的交互远复杂于简单的参数权重保护。
|
||
|
||
## 与知识增强的协同
|
||
|
||
一个意外发现是[[knowledge-aware-augmentation|知识感知增强]]本身也能部分缓解能力退化，这暗示了**主动学习**与**能力保留**之间存在协同效应。
|
||
|
||
## 参见
|
||
|
||
- [[capability-degradation|能力退化]]
|
||
- [[knowledge-adaptation|知识适应]]
|
||
- [[catastrophic-forgetting|灾难性遗忘]]
|