47 lines
2.9 KiB
Markdown
47 lines
2.9 KiB
Markdown
---
|
||
title: "KORE Review"
|
||
type: review
|
||
date: 2026-05-21
|
||
paper: "[[kore-knowledge-injection]]"
|
||
---
|
||
|
||
# KORE Review — 知识导向控制的知识注入
|
||
|
||
📌 **基本信息**
|
||
- 论文：KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Controls
|
||
- 作者：Kailin Jiang, Hongbo Jiang, Ning Jiang, Zhi Gao, Jinhe Bi, Yuchen Ren, Bin Li, Yuntao Du, Lei Liu, Qing Li
|
||
- 会议：ICML 2026 | arXiv: 2510.19316
|
||
- 添加时间：2026-05-21
|
||
|
||
🎯 **核心概念**
|
||
|
||
1. **KORE-AUGMENTATION** — 知识导向增强：将单个知识项自动转化为结构化"知识树"（主干：多轮对话 + 分支：指令任务），实现从数据记忆到知识内化的跨越
|
||
2. **KORE-CONSTRAINT** — 知识导向约束：在激活协方差矩阵的零空间中初始化 LoRA adapter，冻结 A 仅微调 B，确保 BAC≈0 —— 新知识不干扰旧知识
|
||
3. **知识树** — 多层次结构化知识表示，主干提供深度理解，分支提供多角度视角
|
||
4. **零空间投影** — 线性代数在持续学习中的优雅应用：在"空白区域"写入新知识
|
||
5. **HARS** — 调和适应保留评分，将适应与保留统一为单一指标
|
||
6. **协方差矩阵知识存储** — 验证了多模态知识可以被激活协方差矩阵有效捕获
|
||
|
||
🔗 **概念网络**
|
||
|
||
- **核心三角**：KORE-AUGMENTATION ↔ KORE-CONSTRAINT ↔ 知识树
|
||
- **数学基础链**：协方差矩阵 → SVD → 零空间 → 投影 → LoRA 初始化
|
||
- **与前置工作连接**：KORE 是 MMEVOKE 的解决方案 —— 使用 EVOKE 基准评估，超越了 MMEVOKE 论文中测试的所有 baseline
|
||
- **连接已有概念**：[[evolving-knowledge-injection]], [[knowledge-adaptation]], [[knowledge-retention]], [[capability-degradation]], [[mme-voke]], [[data-replay]], [[moe-lora]]
|
||
- **断链修复**：创建了 4 个占位概念（knowledge-internalization, structured-knowledge, null-space, covariance-matrix）
|
||
|
||
📚 **Wiki 集成**
|
||
|
||
- 新增页面：11 个（1 论文 + 6 核心概念 + 4 占位概念）
|
||
- 核心概念平均 5 个链接
|
||
- 网络完整性：100% 无断链
|
||
- 总规模：361 → 372 页
|
||
|
||
💡 **关键洞察**
|
||
|
||
1. **结构化增强 > 离散增强**：一般的 data augmentation 只生成孤立的表面变体；KORE 构建了连贯的知识树，实现了质的飞跃。这印证了之前 MMEVOKE 论文的发现：knowledge-agnostic 增强有害，knowledge-aware 增强有效 —— KORE 进一步证明了 structured knowledge-aware 才是最优路径。
|
||
|
||
2. **零空间是持续学习的"免费午餐"**：协方差矩阵的零空间提供了天然的参数隔离机制 —— 无需存储旧数据（vs Replay），无需修改架构（vs MoE），只需一次 SVD 分解即可实现精确的知识保护。这是一个优雅的线性代数解决方案。
|
||
|
||
3. **MMEVOKE → KORE 形成了完整的研究弧**：前者定义了问题和基准，后者提供了解决方案。两篇论文合在一起，构成了多模态进化知识注入领域的奠基性工作。
|