1.3 KiB
1.3 KiB
title, created, type, tags, sources
| title | created | type | tags | sources | |||
|---|---|---|---|---|---|---|---|
| 知识适应 (Knowledge Adaptation) | 2026-05-21 | concept |
|
|
知识适应 (Knowledge Adaptation)
定义
知识适应是evolving-knowledge-injection的首要目标，指 LMM 在接触新知识后，能在未见过的评估问题上准确泛化。
形式化
max E [ I(M*(i_q, x_q) = y_q) - I(M(i_q, x_q) = y_q) ]
即最大化注入后模型 M* 相对原始模型 M 在评估数据 D_Q 上的准确率增益。
MMEVOKE 上的适应表现
| 方法 | LLaVA-v1.5 CEM | Qwen-VL-Chat CEM |
|---|---|---|
| Vanilla（零样本） | 4.89% | 5.84% |
| Full-FT | 18.02% | 10.16% |
| LoRA | 15.23% | 6.95% |
| MM-RAG UniIR | 40.68% | 32.75% |
| Sufficient Context | 56.78% | 49.98% |
关键发现
- 所有方法表现不佳——即使最佳方法（Sufficient Context）也仅达 56.78%
- 知识感知增强可进一步提升适应能力
- 知识适应 ≠ 数据记忆——模型需要"内化"知识而非"背诵"数据