1.5 KiB
1.5 KiB
title, created, type, tags, sources
| title | created | type | tags | sources | |||
|---|---|---|---|---|---|---|---|
| 知识保留 (Knowledge Retention) | 2026-05-21 | concept |
|
|
知识保留 (Knowledge Retention)
定义
知识保留是evolving-knowledge-injection中的关键目标之一，指在注入新知识后保持模型已有通用能力不退化。
方法谱系
有效方法
- data-replay：直接排练——混合旧数据训练，排名第 1（LoRA）和第 3（Full-FT）
- moe-lora：结构隔离——为新知识划出专用参数区，排名第 2
无效方法
- EWC（Elastic Weight Consolidation）：通过正则化约束重要参数不变——排名第 5，几乎无缓解
- LwF（Learning without Forgetting）：通过知识蒸馏保留旧模型输出——排名第 6，甚至加剧退化
核心洞察
直接排练 > 结构隔离 > 间接约束
EWC 和 LwF 的失败说明：试图通过"冻结"参数来保留能力的策略在多模态进化知识注入场景下基本无效——新知识与旧知识的交互远复杂于简单的参数权重保护。
与知识增强的协同
一个意外发现是knowledge-aware-augmentation本身也能部分缓解能力退化，这暗示了主动学习与能力保留之间存在协同效应。