1.5 KiB
1.5 KiB
title, created, type, tags, sources
| title | created | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|
| 进化知识注入 (Evolving Knowledge Injection) | 2026-05-21 | concept |
|
|
进化知识注入 (Evolving Knowledge Injection)
定义
进化知识注入是指将现实世界中持续更新的多模态知识（新实体、新事件、新信息）高效注入到已训练好的大型多模态模型（LMM）中的任务。与传统的静态知识注入不同，进化知识具有时序性、多模态性和持续涌现性。
核心挑战
- 知识适应 (Knowledge Adaptation)：模型需要准确学习新知识并能在未见过的评估问题上泛化
- 知识保留 (Knowledge Retention)：注入新知识时不能破坏模型已有的通用能力
形式化定义
假设模型 M 可通过注入数据 D_K 优化为 M* = f(M, D_K)，需满足：
- 知识适应：最大化 M* 在新知识评估 D_Q 上的准确率
- 知识保留：最小化 M* 与 M 在通用能力测试 D_P 上的性能差距
与持续学习的关系
进化知识注入可视为continual-learning在多模态场景下的特例，但强调真实世界知识演化而非简单任务序列切换。
参见
- mme-voke — 首个多模态进化知识注入基准
- knowledge-adaptation
- knowledge-retention
- capability-degradation