77 lines
3.9 KiB
Markdown
77 lines
3.9 KiB
Markdown
---
|
||
title: "KORE: Knowledge-Oriented Controls for Knowledge Injection"
|
||
authors: ["Kailin Jiang", "Hongbo Jiang", "Ning Jiang", "Zhi Gao", "Jinhe Bi", "Yuchen Ren", "Bin Li", "Yuntao Du", "Lei Liu", "Qing Li"]
|
||
date: 2026
|
||
arxiv: "2510.19316"
|
||
venue: "ICML 2026"
|
||
type: paper
|
||
tags: ["multimodal", "knowledge-injection", "continual-learning", "lora", "null-space"]
|
||
---
|
||
|
||
# KORE: Enhancing Knowledge Injection via Knowledge-Oriented Controls
|
||
|
||
> ICML 2026 | [[arxiv|https://arxiv.org/abs/2510.19316]] | [kore-lmm.github.io](https://kore-lmm.github.io/)
|
||
|
||
## 核心问题
|
||
|
||
LMM 的知识是**静态的**，无法跟上现实世界发展。有效的[[evolving-knowledge-injection|知识注入]]需要同时满足两个目标：[[knowledge-adaptation|知识适应]]（注入新知识）和 [[knowledge-retention|知识保留]]（保持旧能力）。现有方法在两者之间难以平衡——要么泛化差，要么灾难性遗忘。
|
||
|
||
KORE 是 MMEVOKE 系列工作的**解决方案论文**（同一作者团队），提出了基于**知识导向控制**的协同方法。
|
||
|
||
## 核心方法
|
||
|
||
### 1. KORE-AUGMENTATION：知识导向增强
|
||
|
||
[[kore-augmentation|KORE-AUGMENTATION]] 将单个知识项自动转化为**结构化的知识树**（74K 训练数据）：
|
||
|
||
- **主干（Trunk）**：多轮对话数据 —— 启发式 Q&A + GPT-4o 生成的最多 10 轮对话
|
||
- **分支（Branches）**：指令任务数据 —— 视觉识别、图像描述、VQA（46,468 样本）
|
||
|
||
这与[[knowledge-aware-augmentation|知识感知增强]]和[[knowledge-agnostic-augmentation|知识无关增强]]有本质区别：不仅是表面变换，而是构建了一个**连贯的知识结构**，实现了从"数据记忆"到"**知识内化**"的跨越。
|
||
|
||
### 2. KORE-CONSTRAINT：知识导向约束
|
||
|
||
[[kore-constraint|KORE-CONSTRAINT]] 的核心思想是**在零空间中微调，不干扰已有知识**：
|
||
|
||
1. 从 LMM 线性层的激活中计算[[covariance-matrix-knowledge|协方差矩阵]] C = XX^T，存储先前知识
|
||
2. 对 C 进行 SVD 分解，提取其**零空间**（对应最小奇异值的向量）
|
||
3. 将预训练权重 W₀ 投影到零空间中初始化 LoRA adapter
|
||
4. 冻结 A 矩阵在零空间内，仅微调 B
|
||
|
||
这确保了更新项 BAC ≈ 0 —— 无论 B 如何变化，都不会干扰已存储的旧知识。
|
||
|
||
### 3. HARS 评估指标
|
||
|
||
[[hars|HARS]]（Harmonized Adaptation-Retention Score）将知识适应和知识保留统一为一个调和指标，类似 F1 平衡 Precision 和 Recall。
|
||
|
||
## 实验结果（LLaVA-v1.5 7B）
|
||
|
||
| 方法 | K.A (CEM↑) | K.R (Avg↑) | HARS↑ |
|
||
|------|-----------|-----------|-------|
|
||
| Vanilla | 4.89 | 46.74 | — |
|
||
| Full-FT | 18.02 | 16.09 | 16.60 |
|
||
| LoRA | 15.23 | 41.38 | 16.77 |
|
||
| Replay | 14.58 | 44.18 | 17.29 |
|
||
| MoELoRA | 16.22 | 31.55 | 20.17 |
|
||
| O-LoRA | 14.50 | 44.52 | 17.39 |
|
||
| **KORE** | **30.65** | **51.75** | **35.96** |
|
||
|
||
KORE 在知识适应上**翻倍**于最佳 baseline（30.65 vs 18.02），且在知识保留上**超越** Vanilla（51.75 vs 46.74），实现了真正的**正向保留**。
|
||
|
||
## 关键洞察
|
||
|
||
1. **结构化 > 离散化**：构建知识树比生成孤立变体更有效
|
||
2. **零空间 > 正则化**：在零空间中微调比 EWC/LwF 的间接约束更精确
|
||
3. **增量能力**：通过冻结 A 矩阵，KORE 支持顺序注入多批知识而不遗忘
|
||
4. **通用性**：在 LLaVA-v1.5 (7B/13B) 和 Qwen2.5-VL (7B) 上均验证有效
|
||
|
||
## 概念链接
|
||
|
||
- [[kore-augmentation]] — 知识导向增强：树干+树枝的知识树构建
|
||
- [[kore-constraint]] — 知识导向约束：零空间投影微调
|
||
- [[knowledge-tree]] — 知识树：结构化知识表示
|
||
- [[null-space-projection-knowledge]] — 零空间投影知识保留
|
||
- [[covariance-matrix-knowledge]] — 协方差矩阵存储知识
|
||
- [[hars]] — 调和适应保留评分
|
||
- [[evolving-knowledge-injection]] — 进化知识注入（前置工作）
|
||
- [[mme-voke]] — MMEVOKE 基准（使用 EVOKE 评估） |