20260601
This commit is contained in:
35
concepts/evolving-knowledge-injection.md
Normal file
35
concepts/evolving-knowledge-injection.md
Normal file
@@ -0,0 +1,35 @@
|
||||
---
|
||||
title: "进化知识注入 (Evolving Knowledge Injection)"
|
||||
created: 2026-05-21
|
||||
type: concept
|
||||
tags: ["continual-learning", "multimodal", "knowledge"]
|
||||
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
|
||||
---
|
||||
|
||||
# 进化知识注入 (Evolving Knowledge Injection)
|
||||
|
||||
## 定义
|
||||
|
||||
进化知识注入是指将现实世界中**持续更新的多模态知识**(新实体、新事件、新信息)高效注入到已训练好的大型多模态模型(LMM)中的任务。与传统的静态知识注入不同,进化知识具有**时序性**、**多模态性**和**持续涌现性**。
|
||||
|
||||
## 核心挑战
|
||||
|
||||
1. **知识适应 (Knowledge Adaptation)**:模型需要准确学习新知识并能在未见过的评估问题上泛化
|
||||
2. **知识保留 (Knowledge Retention)**:注入新知识时不能破坏模型已有的通用能力
|
||||
|
||||
## 形式化定义
|
||||
|
||||
假设模型 M 可通过注入数据 D_K 优化为 M* = f(M, D_K),需满足:
|
||||
- **知识适应**:最大化 M* 在新知识评估 D_Q 上的准确率
|
||||
- **知识保留**:最小化 M* 与 M 在通用能力测试 D_P 上的性能差距
|
||||
|
||||
## 与持续学习的关系
|
||||
|
||||
进化知识注入可视为[[continual-learning|持续学习]]在多模态场景下的特例,但强调**真实世界知识演化**而非简单任务序列切换。
|
||||
|
||||
## 参见
|
||||
|
||||
- [[mme-voke|MMEVOKE]] — 首个多模态进化知识注入基准
|
||||
- [[knowledge-adaptation|知识适应]]
|
||||
- [[knowledge-retention|知识保留]]
|
||||
- [[capability-degradation|能力退化]]
|
||||
Reference in New Issue
Block a user