KORE: Enhancing Knowledge Injection via Knowledge-Oriented Controls

ICML 2026 | arxiv | kore-lmm.github.io

核心问题

LMM 的知识是静态的，无法跟上现实世界发展。有效的evolving-knowledge-injection需要同时满足两个目标：knowledge-adaptation（注入新知识）和 knowledge-retention（保持旧能力）。现有方法在两者之间难以平衡——要么泛化差，要么灾难性遗忘。

KORE 是 MMEVOKE 系列工作的解决方案论文（同一作者团队），提出了基于知识导向控制的协同方法。

核心方法

1. KORE-AUGMENTATION：知识导向增强

kore-augmentation 将单个知识项自动转化为结构化的知识树（74K 训练数据）：

主干（Trunk）：多轮对话数据 —— 启发式 Q&A + GPT-4o 生成的最多 10 轮对话
分支（Branches）：指令任务数据 —— 视觉识别、图像描述、VQA（46,468 样本）

这与knowledge-aware-augmentation和knowledge-agnostic-augmentation有本质区别：不仅是表面变换，而是构建了一个连贯的知识结构，实现了从"数据记忆"到"知识内化"的跨越。

2. KORE-CONSTRAINT：知识导向约束

kore-constraint 的核心思想是在零空间中微调，不干扰已有知识：

从 LMM 线性层的激活中计算covariance-matrix-knowledge C = XX^T，存储先前知识
对 C 进行 SVD 分解，提取其零空间（对应最小奇异值的向量）
将预训练权重 W₀ 投影到零空间中初始化 LoRA adapter
冻结 A 矩阵在零空间内，仅微调 B

这确保了更新项 BAC ≈ 0 —— 无论 B 如何变化，都不会干扰已存储的旧知识。

3. HARS 评估指标

hars（Harmonized Adaptation-Retention Score）将知识适应和知识保留统一为一个调和指标，类似 F1 平衡 Precision 和 Recall。

实验结果（LLaVA-v1.5 7B）

方法	K.A (CEM↑)	K.R (Avg↑)	HARS↑
Vanilla	4.89	46.74	—
Full-FT	18.02	16.09	16.60
LoRA	15.23	41.38	16.77
Replay	14.58	44.18	17.29
MoELoRA	16.22	31.55	20.17
O-LoRA	14.50	44.52	17.39
KORE	30.65	51.75	35.96

KORE 在知识适应上翻倍于最佳 baseline（30.65 vs 18.02），且在知识保留上超越 Vanilla（51.75 vs 46.74），实现了真正的正向保留。

关键洞察

结构化 > 离散化：构建知识树比生成孤立变体更有效
零空间 > 正则化：在零空间中微调比 EWC/LwF 的间接约束更精确
增量能力：通过冻结 A 矩阵，KORE 支持顺序注入多批知识而不遗忘
通用性：在 LLaVA-v1.5 (7B/13B) 和 Qwen2.5-VL (7B) 上均验证有效

概念链接

kore-augmentation — 知识导向增强：树干+树枝的知识树构建
kore-constraint — 知识导向约束：零空间投影微调
knowledge-tree — 知识树：结构化知识表示
null-space-projection-knowledge — 零空间投影知识保留
covariance-matrix-knowledge — 协方差矩阵存储知识
hars — 调和适应保留评分
evolving-knowledge-injection — 进化知识注入（前置工作）
mme-voke — MMEVOKE 基准（使用 EVOKE 评估）

3.9 KiB Raw Blame History Unescape Escape