20260601

concepts/data-replay.md

@@ -0,0 +1,42 @@
+---
+title: "数据回放 (Data Replay)"
+created: 2026-05-21
+type: concept
+tags: ["continual-learning", "knowledge-retention", "catastrophic-forgetting"]
+sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
+---
+
+# 数据回放 (Data Replay)
+
+## 定义
+
+数据回放是缓解[[capability-degradation|能力退化]]的一种**直接排练策略**，通过将**旧预训练数据**与新注入数据混合进行微调，强制模型"复习旧知"。
+
+## 实现
+
+在 MMEVOKE 论文中：
+- Replay + Full-FT：随机抽样 10%（MMEVOKE 数据量大小）的旧预训练数据，与新注入数据混合，使用 Full-FT
+- Replay + LoRA：同上，使用 LoRA 策略
+
+## 效果（LLaVA-v1.5）
+
+- Replay + Full-FT：缓解退化，**排名第 3**
+- Replay + LoRA：**排名第 1**，在 MMMU 和 MathVision 上超过 Vanilla 分别 +1.75% 和 +2.20%
+
+## 机制
+
+通过重新暴露于旧数据，**重新激活旧知识网络**，防止新知识覆盖已有参数。
+
+## 与 MoELoRA 的比较
+
+| 策略 | Replay | MoELoRA |
+|------|--------|---------|
+| 机制 | 直接排练旧数据 | 结构性隔离新知识 |
+| 优势 | 效果最佳 | 无需存储旧数据 |
+| 劣势 | 需要旧数据存储 | 需修改模型架构 |
+
+## 参见
+
+- [[moe-lora|MoELoRA]]
+- [[knowledge-retention|知识保留]]
+- [[continual-learning|持续学习]]