title, created, type, tags, sources
| title |
created |
type |
tags |
sources |
| 能力退化 (Capability Degradation) |
2026-05-21 |
concept |
| continual-learning |
| catastrophic-forgetting |
|
|
能力退化 (Capability Degradation)
定义
能力退化是指 LMM 在注入新知识后,在通用能力测试(综合评估、OCR、多学科、指令遵循、数学推理、幻觉检测)上出现显著性能下降的现象。
量化数据(LLaVA-v1.5)
| 方法 |
平均退化 |
最严重退化项 |
| Full-FT |
-25.89% |
MIA-Bench (-61.93%), HallusionBench (-57.40%) |
| LoRA |
-25.74% |
HallusionBench (-59.65%), MIA-Bench (-55.28%) |
测试维度(12 个基准,7 个维度)
- 综合评估:MME, MMBench
- OCR:SEEDBench2 Plus, OCRBench
- 多学科:ScienceQA, MMMU
- 指令遵循:MIA-Bench
- 多轮对话:MMDU
- 数学推理:MathVista, MathVision
- 幻觉检测:POPE, HallusionBench
与灾难性遗忘的关系
能力退化是catastrophic-forgetting在多模态知识注入场景下的具体表现。但本研究发现部分退化可以通过知识感知增强缓解,这是此前未被注意的现象。
参见