Files
myWiki/concepts/capability-degradation.md
2026-06-01 10:46:01 +08:00

1.3 KiB
Raw Blame History

title, created, type, tags, sources
title created type tags sources
能力退化 (Capability Degradation) 2026-05-21 concept
continual-learning
catastrophic-forgetting
when-large-multimodal-models-confront-evolving-knowledge

能力退化 (Capability Degradation)

定义

能力退化是指 LMM 在注入新知识后,在通用能力测试综合评估、OCR、多学科、指令遵循、数学推理、幻觉检测上出现显著性能下降的现象。

量化数据LLaVA-v1.5

方法 平均退化 最严重退化项
Full-FT -25.89% MIA-Bench (-61.93%), HallusionBench (-57.40%)
LoRA -25.74% HallusionBench (-59.65%), MIA-Bench (-55.28%)

测试维度12 个基准7 个维度)

  1. 综合评估MME, MMBench
  2. OCRSEEDBench2 Plus, OCRBench
  3. 多学科ScienceQA, MMMU
  4. 指令遵循MIA-Bench
  5. 多轮对话MMDU
  6. 数学推理MathVista, MathVision
  7. 幻觉检测POPE, HallusionBench

与灾难性遗忘的关系

能力退化是catastrophic-forgetting在多模态知识注入场景下的具体表现。但本研究发现部分退化可以通过知识感知增强缓解,这是此前未被注意的现象。

参见