---
title: "数据回放 (Data Replay)"
created: 2026-05-21
type: concept
tags: ["continual-learning", "knowledge-retention", "catastrophic-forgetting"]
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
---

# 数据回放 (Data Replay)

## 定义

数据回放是缓解[[capability-degradation|能力退化]]的一种**直接排练策略**，通过将**旧预训练数据**与新注入数据混合进行微调，强制模型"复习旧知"。

## 实现

在 MMEVOKE 论文中：
- Replay + Full-FT：随机抽样 10%（MMEVOKE 数据量大小）的旧预训练数据，与新注入数据混合，使用 Full-FT
- Replay + LoRA：同上，使用 LoRA 策略

## 效果（LLaVA-v1.5）

- Replay + Full-FT：缓解退化，**排名第 3**
- Replay + LoRA：**排名第 1**，在 MMMU 和 MathVision 上超过 Vanilla 分别 +1.75% 和 +2.20%

## 机制

通过重新暴露于旧数据，**重新激活旧知识网络**，防止新知识覆盖已有参数。

## 与 MoELoRA 的比较

| 策略 | Replay | MoELoRA |
|------|--------|---------|
| 机制 | 直接排练旧数据 | 结构性隔离新知识 |
| 优势 | 效果最佳 | 无需存储旧数据 |
| 劣势 | 需要旧数据存储 | 需修改模型架构 |

## 参见

- [[moe-lora|MoELoRA]]
- [[knowledge-retention|知识保留]]
- [[continual-learning|持续学习]]