36 lines
1.5 KiB
Markdown
36 lines
1.5 KiB
Markdown
---
|
||
title: "进化知识注入 (Evolving Knowledge Injection)"
|
||
created: 2026-05-21
|
||
type: concept
|
||
tags: ["continual-learning", "multimodal", "knowledge"]
|
||
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
|
||
---
|
||
|
||
# 进化知识注入 (Evolving Knowledge Injection)
|
||
|
||
## 定义
|
||
|
||
进化知识注入是指将现实世界中**持续更新的多模态知识**（新实体、新事件、新信息）高效注入到已训练好的大型多模态模型（LMM）中的任务。与传统的静态知识注入不同，进化知识具有**时序性**、**多模态性**和**持续涌现性**。
|
||
|
||
## 核心挑战
|
||
|
||
1. **知识适应 (Knowledge Adaptation)**：模型需要准确学习新知识并能在未见过的评估问题上泛化
|
||
2. **知识保留 (Knowledge Retention)**：注入新知识时不能破坏模型已有的通用能力
|
||
|
||
## 形式化定义
|
||
|
||
假设模型 M 可通过注入数据 D_K 优化为 M* = f(M, D_K)，需满足：
|
||
- **知识适应**：最大化 M* 在新知识评估 D_Q 上的准确率
|
||
- **知识保留**：最小化 M* 与 M 在通用能力测试 D_P 上的性能差距
|
||
|
||
## 与持续学习的关系
|
||
|
||
进化知识注入可视为[[continual-learning|持续学习]]在多模态场景下的特例，但强调**真实世界知识演化**而非简单任务序列切换。
|
||
|
||
## 参见
|
||
|
||
- [[mme-voke|MMEVOKE]] — 首个多模态进化知识注入基准
|
||
- [[knowledge-adaptation|知识适应]]
|
||
- [[knowledge-retention|知识保留]]
|
||
- [[capability-degradation|能力退化]]
|