41 lines
1.3 KiB
Markdown
41 lines
1.3 KiB
Markdown
---
|
||
title: "能力退化 (Capability Degradation)"
|
||
created: 2026-05-21
|
||
type: concept
|
||
tags: ["continual-learning", "catastrophic-forgetting"]
|
||
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
|
||
---
|
||
|
||
# 能力退化 (Capability Degradation)
|
||
|
||
## 定义
|
||
|
||
能力退化是指 LMM 在注入新知识后，在**通用能力测试**（综合评估、OCR、多学科、指令遵循、数学推理、幻觉检测）上出现显著性能下降的现象。
|
||
|
||
## 量化数据（LLaVA-v1.5）
|
||
|
||
| 方法 | 平均退化 | 最严重退化项 |
|
||
|------|---------|------------|
|
||
| Full-FT | -25.89% | MIA-Bench (-61.93%), HallusionBench (-57.40%) |
|
||
| LoRA | -25.74% | HallusionBench (-59.65%), MIA-Bench (-55.28%) |
|
||
|
||
## 测试维度（12 个基准，7 个维度）
|
||
|
||
1. 综合评估：MME, MMBench
|
||
2. OCR：SEEDBench2 Plus, OCRBench
|
||
3. 多学科：ScienceQA, MMMU
|
||
4. 指令遵循：MIA-Bench
|
||
5. 多轮对话：MMDU
|
||
6. 数学推理：MathVista, MathVision
|
||
7. 幻觉检测：POPE, HallusionBench
|
||
|
||
## 与灾难性遗忘的关系
|
||
|
||
能力退化是[[catastrophic-forgetting|灾难性遗忘]]在多模态知识注入场景下的具体表现。但本研究发现**部分退化可以通过知识感知增强缓解**，这是此前未被注意的现象。
|
||
|
||
## 参见
|
||
|
||
- [[knowledge-retention|知识保留]]
|
||
- [[data-replay|数据回放]]
|
||
- [[moe-lora|MoELoRA]]
|