--- title: "KORE Review" type: review date: 2026-05-21 paper: "[[kore-knowledge-injection]]" --- # KORE Review — 知识导向控制的知识注入 📌 **基本信息** - 论文:KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Controls - 作者:Kailin Jiang, Hongbo Jiang, Ning Jiang, Zhi Gao, Jinhe Bi, Yuchen Ren, Bin Li, Yuntao Du, Lei Liu, Qing Li - 会议:ICML 2026 | arXiv: 2510.19316 - 添加时间:2026-05-21 🎯 **核心概念** 1. **KORE-AUGMENTATION** — 知识导向增强:将单个知识项自动转化为结构化"知识树"(主干:多轮对话 + 分支:指令任务),实现从数据记忆到知识内化的跨越 2. **KORE-CONSTRAINT** — 知识导向约束:在激活协方差矩阵的零空间中初始化 LoRA adapter,冻结 A 仅微调 B,确保 BAC≈0 —— 新知识不干扰旧知识 3. **知识树** — 多层次结构化知识表示,主干提供深度理解,分支提供多角度视角 4. **零空间投影** — 线性代数在持续学习中的优雅应用:在"空白区域"写入新知识 5. **HARS** — 调和适应保留评分,将适应与保留统一为单一指标 6. **协方差矩阵知识存储** — 验证了多模态知识可以被激活协方差矩阵有效捕获 🔗 **概念网络** - **核心三角**:KORE-AUGMENTATION ↔ KORE-CONSTRAINT ↔ 知识树 - **数学基础链**:协方差矩阵 → SVD → 零空间 → 投影 → LoRA 初始化 - **与前置工作连接**:KORE 是 MMEVOKE 的解决方案 —— 使用 EVOKE 基准评估,超越了 MMEVOKE 论文中测试的所有 baseline - **连接已有概念**:[[evolving-knowledge-injection]], [[knowledge-adaptation]], [[knowledge-retention]], [[capability-degradation]], [[mme-voke]], [[data-replay]], [[moe-lora]] - **断链修复**:创建了 4 个占位概念(knowledge-internalization, structured-knowledge, null-space, covariance-matrix) 📚 **Wiki 集成** - 新增页面:11 个(1 论文 + 6 核心概念 + 4 占位概念) - 核心概念平均 5 个链接 - 网络完整性:100% 无断链 - 总规模:361 → 372 页 💡 **关键洞察** 1. **结构化增强 > 离散增强**:一般的 data augmentation 只生成孤立的表面变体;KORE 构建了连贯的知识树,实现了质的飞跃。这印证了之前 MMEVOKE 论文的发现:knowledge-agnostic 增强有害,knowledge-aware 增强有效 —— KORE 进一步证明了 structured knowledge-aware 才是最优路径。 2. **零空间是持续学习的"免费午餐"**:协方差矩阵的零空间提供了天然的参数隔离机制 —— 无需存储旧数据(vs Replay),无需修改架构(vs MoE),只需一次 SVD 分解即可实现精确的知识保护。这是一个优雅的线性代数解决方案。 3. **MMEVOKE → KORE 形成了完整的研究弧**:前者定义了问题和基准,后者提供了解决方案。两篇论文合在一起,构成了多模态进化知识注入领域的奠基性工作。