---
title: "KORE: Knowledge-Oriented Controls for Knowledge Injection"
authors: ["Kailin Jiang", "Hongbo Jiang", "Ning Jiang", "Zhi Gao", "Jinhe Bi", "Yuchen Ren", "Bin Li", "Yuntao Du", "Lei Liu", "Qing Li"]
date: 2026
arxiv: "2510.19316"
venue: "ICML 2026"
type: paper
tags: ["multimodal", "knowledge-injection", "continual-learning", "lora", "null-space"]
---

# KORE: Enhancing Knowledge Injection via Knowledge-Oriented Controls

> ICML 2026 | [[arxiv|https://arxiv.org/abs/2510.19316]] | [kore-lmm.github.io](https://kore-lmm.github.io/)

## 核心问题

LMM 的知识是**静态的**，无法跟上现实世界发展。有效的[[evolving-knowledge-injection|知识注入]]需要同时满足两个目标：[[knowledge-adaptation|知识适应]]（注入新知识）和 [[knowledge-retention|知识保留]]（保持旧能力）。现有方法在两者之间难以平衡——要么泛化差，要么灾难性遗忘。

KORE 是 MMEVOKE 系列工作的**解决方案论文**（同一作者团队），提出了基于**知识导向控制**的协同方法。

## 核心方法

### 1. KORE-AUGMENTATION：知识导向增强

[[kore-augmentation|KORE-AUGMENTATION]] 将单个知识项自动转化为**结构化的知识树**（74K 训练数据）：

- **主干（Trunk）**：多轮对话数据 —— 启发式 Q&A + GPT-4o 生成的最多 10 轮对话
- **分支（Branches）**：指令任务数据 —— 视觉识别、图像描述、VQA（46,468 样本）

这与[[knowledge-aware-augmentation|知识感知增强]]和[[knowledge-agnostic-augmentation|知识无关增强]]有本质区别：不仅是表面变换，而是构建了一个**连贯的知识结构**，实现了从"数据记忆"到"**知识内化**"的跨越。

### 2. KORE-CONSTRAINT：知识导向约束

[[kore-constraint|KORE-CONSTRAINT]] 的核心思想是**在零空间中微调，不干扰已有知识**：

1. 从 LMM 线性层的激活中计算[[covariance-matrix-knowledge|协方差矩阵]] C = XX^T，存储先前知识
2. 对 C 进行 SVD 分解，提取其**零空间**（对应最小奇异值的向量）
3. 将预训练权重 W₀ 投影到零空间中初始化 LoRA adapter
4. 冻结 A 矩阵在零空间内，仅微调 B

这确保了更新项 BAC ≈ 0 —— 无论 B 如何变化，都不会干扰已存储的旧知识。

### 3. HARS 评估指标

[[hars|HARS]]（Harmonized Adaptation-Retention Score）将知识适应和知识保留统一为一个调和指标，类似 F1 平衡 Precision 和 Recall。

## 实验结果（LLaVA-v1.5 7B）

| 方法 | K.A (CEM↑) | K.R (Avg↑) | HARS↑ |
|------|-----------|-----------|-------|
| Vanilla | 4.89 | 46.74 | — |
| Full-FT | 18.02 | 16.09 | 16.60 |
| LoRA | 15.23 | 41.38 | 16.77 |
| Replay | 14.58 | 44.18 | 17.29 |
| MoELoRA | 16.22 | 31.55 | 20.17 |
| O-LoRA | 14.50 | 44.52 | 17.39 |
| **KORE** | **30.65** | **51.75** | **35.96** |

KORE 在知识适应上**翻倍**于最佳 baseline（30.65 vs 18.02），且在知识保留上**超越** Vanilla（51.75 vs 46.74），实现了真正的**正向保留**。

## 关键洞察

1. **结构化 > 离散化**：构建知识树比生成孤立变体更有效
2. **零空间 > 正则化**：在零空间中微调比 EWC/LwF 的间接约束更精确
3. **增量能力**：通过冻结 A 矩阵，KORE 支持顺序注入多批知识而不遗忘
4. **通用性**：在 LLaVA-v1.5 (7B/13B) 和 Qwen2.5-VL (7B) 上均验证有效

## 概念链接

- [[kore-augmentation]] — 知识导向增强：树干+树枝的知识树构建
- [[kore-constraint]] — 知识导向约束：零空间投影微调
- [[knowledge-tree]] — 知识树：结构化知识表示
- [[null-space-projection-knowledge]] — 零空间投影知识保留
- [[covariance-matrix-knowledge]] — 协方差矩阵存储知识
- [[hars]] — 调和适应保留评分
- [[evolving-knowledge-injection]] — 进化知识注入（前置工作）
- [[mme-voke]] — MMEVOKE 基准（使用 EVOKE 评估）