20260601

papers/kore-knowledge-injection.md

@@ -0,0 +1,77 @@
+---
+title: "KORE: Knowledge-Oriented Controls for Knowledge Injection"
+authors: ["Kailin Jiang", "Hongbo Jiang", "Ning Jiang", "Zhi Gao", "Jinhe Bi", "Yuchen Ren", "Bin Li", "Yuntao Du", "Lei Liu", "Qing Li"]
+date: 2026
+arxiv: "2510.19316"
+venue: "ICML 2026"
+type: paper
+tags: ["multimodal", "knowledge-injection", "continual-learning", "lora", "null-space"]
+---
+
+# KORE: Enhancing Knowledge Injection via Knowledge-Oriented Controls
+
+> ICML 2026 | [[arxiv|https://arxiv.org/abs/2510.19316]] | [kore-lmm.github.io](https://kore-lmm.github.io/)
+
+## 核心问题
+
+LMM 的知识是**静态的**，无法跟上现实世界发展。有效的[[evolving-knowledge-injection|知识注入]]需要同时满足两个目标：[[knowledge-adaptation|知识适应]]（注入新知识）和 [[knowledge-retention|知识保留]]（保持旧能力）。现有方法在两者之间难以平衡——要么泛化差，要么灾难性遗忘。
+
+KORE 是 MMEVOKE 系列工作的**解决方案论文**（同一作者团队），提出了基于**知识导向控制**的协同方法。
+
+## 核心方法
+
+### 1. KORE-AUGMENTATION：知识导向增强
+
+[[kore-augmentation|KORE-AUGMENTATION]] 将单个知识项自动转化为**结构化的知识树**（74K 训练数据）：
+
+- **主干（Trunk）**：多轮对话数据 —— 启发式 Q&A + GPT-4o 生成的最多 10 轮对话
+- **分支（Branches）**：指令任务数据 —— 视觉识别、图像描述、VQA（46,468 样本）
+
+这与[[knowledge-aware-augmentation|知识感知增强]]和[[knowledge-agnostic-augmentation|知识无关增强]]有本质区别：不仅是表面变换，而是构建了一个**连贯的知识结构**，实现了从"数据记忆"到"**知识内化**"的跨越。
+
+### 2. KORE-CONSTRAINT：知识导向约束
+
+[[kore-constraint|KORE-CONSTRAINT]] 的核心思想是**在零空间中微调，不干扰已有知识**：
+
+1. 从 LMM 线性层的激活中计算[[covariance-matrix-knowledge|协方差矩阵]] C = XX^T，存储先前知识
+2. 对 C 进行 SVD 分解，提取其**零空间**（对应最小奇异值的向量）
+3. 将预训练权重 W₀ 投影到零空间中初始化 LoRA adapter
+4. 冻结 A 矩阵在零空间内，仅微调 B
+
+这确保了更新项 BAC ≈ 0 —— 无论 B 如何变化，都不会干扰已存储的旧知识。
+
+### 3. HARS 评估指标
+
+[[hars|HARS]]（Harmonized Adaptation-Retention Score）将知识适应和知识保留统一为一个调和指标，类似 F1 平衡 Precision 和 Recall。
+
+## 实验结果（LLaVA-v1.5 7B）
+
+| 方法 | K.A (CEM↑) | K.R (Avg↑) | HARS↑ |
+|------|-----------|-----------|-------|
+| Vanilla | 4.89 | 46.74 | — |
+| Full-FT | 18.02 | 16.09 | 16.60 |
+| LoRA | 15.23 | 41.38 | 16.77 |
+| Replay | 14.58 | 44.18 | 17.29 |
+| MoELoRA | 16.22 | 31.55 | 20.17 |
+| O-LoRA | 14.50 | 44.52 | 17.39 |
+| **KORE** | **30.65** | **51.75** | **35.96** |
+
+KORE 在知识适应上**翻倍**于最佳 baseline（30.65 vs 18.02），且在知识保留上**超越** Vanilla（51.75 vs 46.74），实现了真正的**正向保留**。
+
+## 关键洞察
+
+1. **结构化 > 离散化**：构建知识树比生成孤立变体更有效
+2. **零空间 > 正则化**：在零空间中微调比 EWC/LwF 的间接约束更精确
+3. **增量能力**：通过冻结 A 矩阵，KORE 支持顺序注入多批知识而不遗忘
+4. **通用性**：在 LLaVA-v1.5 (7B/13B) 和 Qwen2.5-VL (7B) 上均验证有效
+
+## 概念链接
+
+- [[kore-augmentation]] — 知识导向增强：树干+树枝的知识树构建
+- [[kore-constraint]] — 知识导向约束：零空间投影微调
+- [[knowledge-tree]] — 知识树：结构化知识表示
+- [[null-space-projection-knowledge]] — 零空间投影知识保留
+- [[covariance-matrix-knowledge]] — 协方差矩阵存储知识
+- [[hars]] — 调和适应保留评分
+- [[evolving-knowledge-injection]] — 进化知识注入（前置工作）
+- [[mme-voke]] — MMEVOKE 基准（使用 EVOKE 评估）