2.9 KiB
2.9 KiB
title, type, date, paper
| title | type | date | paper |
|---|---|---|---|
| KORE Review | review | 2026-05-21 | kore-knowledge-injection |
KORE Review — 知识导向控制的知识注入
📌 基本信息
- 论文：KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Controls
- 作者：Kailin Jiang, Hongbo Jiang, Ning Jiang, Zhi Gao, Jinhe Bi, Yuchen Ren, Bin Li, Yuntao Du, Lei Liu, Qing Li
- 会议：ICML 2026 | arXiv: 2510.19316
- 添加时间：2026-05-21
🎯 核心概念
- KORE-AUGMENTATION — 知识导向增强：将单个知识项自动转化为结构化"知识树"（主干：多轮对话 + 分支：指令任务），实现从数据记忆到知识内化的跨越
- KORE-CONSTRAINT — 知识导向约束：在激活协方差矩阵的零空间中初始化 LoRA adapter，冻结 A 仅微调 B，确保 BAC≈0 —— 新知识不干扰旧知识
- 知识树 — 多层次结构化知识表示，主干提供深度理解，分支提供多角度视角
- 零空间投影 — 线性代数在持续学习中的优雅应用：在"空白区域"写入新知识
- HARS — 调和适应保留评分，将适应与保留统一为单一指标
- 协方差矩阵知识存储 — 验证了多模态知识可以被激活协方差矩阵有效捕获
🔗 概念网络
- 核心三角：KORE-AUGMENTATION ↔ KORE-CONSTRAINT ↔ 知识树
- 数学基础链：协方差矩阵 → SVD → 零空间 → 投影 → LoRA 初始化
- 与前置工作连接：KORE 是 MMEVOKE 的解决方案 —— 使用 EVOKE 基准评估，超越了 MMEVOKE 论文中测试的所有 baseline
- 连接已有概念：evolving-knowledge-injection, knowledge-adaptation, knowledge-retention, capability-degradation, mme-voke, data-replay, moe-lora
- 断链修复：创建了 4 个占位概念（knowledge-internalization, structured-knowledge, null-space, covariance-matrix）
📚 Wiki 集成
- 新增页面：11 个（1 论文 + 6 核心概念 + 4 占位概念）
- 核心概念平均 5 个链接
- 网络完整性：100% 无断链
- 总规模：361 → 372 页
💡 关键洞察
-
结构化增强 > 离散增强：一般的 data augmentation 只生成孤立的表面变体；KORE 构建了连贯的知识树，实现了质的飞跃。这印证了之前 MMEVOKE 论文的发现：knowledge-agnostic 增强有害，knowledge-aware 增强有效 —— KORE 进一步证明了 structured knowledge-aware 才是最优路径。
-
零空间是持续学习的"免费午餐"：协方差矩阵的零空间提供了天然的参数隔离机制 —— 无需存储旧数据（vs Replay），无需修改架构（vs MoE），只需一次 SVD 分解即可实现精确的知识保护。这是一个优雅的线性代数解决方案。
-
MMEVOKE → KORE 形成了完整的研究弧：前者定义了问题和基准，后者提供了解决方案。两篇论文合在一起，构成了多模态进化知识注入领域的奠基性工作。