57 lines
2.1 KiB
Markdown
57 lines
2.1 KiB
Markdown
---
|
||
title: "KORE-CONSTRAINT（知识导向约束）"
|
||
created: 2026-05-21
|
||
type: concept
|
||
tags: ["continual-learning", "null-space", "lora", "knowledge-retention"]
|
||
sources: ["[[kore-knowledge-injection]]"]
|
||
---
|
||
|
||
# KORE-CONSTRAINT（知识导向约束）
|
||
|
||
## 定义
|
||
|
||
KORE-CONSTRAINT 是一种基于**零空间投影**的知识保留方法，通过在 LMM 线性层激活的协方差矩阵零空间中初始化 LoRA adapter，确保微调方向**最小化对已有知识的干扰**。
|
||
|
||
## 核心机制
|
||
|
||
### 1. 协方差矩阵存储知识
|
||
收集 LMM 在代表预训练知识的随机样本上的激活 X ∈ R^{d_in × BL}，计算协方差矩阵：
|
||
C = XX^T ∈ R^{d_in × d_in}
|
||
|
||
C 有效捕获了多模态知识——相关任务（POPE 和 HallusionBench）在 C 中展示相似模式，而无关任务则不同。
|
||
|
||
### 2. 零空间投影
|
||
对 C 进行 SVD 分解 → 提取零空间（对应最小奇异值的向量）→ 构建投影矩阵 P = ÛÛ^T
|
||
|
||
### 3. 初始化 LoRA Adapter
|
||
将预训练权重 W₀ 投影到零空间：
|
||
- SVD(W₀P) = U*, Σ*, (V*)^T
|
||
- B = U*√Σ*, A = √Σ*(V*)^T
|
||
- 调整原始权重：W₀' = W₀ - BA（确保微调开始时模型不变）
|
||
|
||
### 4. 冻结 A，仅微调 B
|
||
A 被冻结在零空间内 → 更新项 BAC ≈ 0 → **无论 B 如何变化，旧知识不受影响**
|
||
|
||
## 目标公式
|
||
W*C = (W₀ + BA)C ≈ W₀C → BAC ≈ 0 → AC = 0（A 在 C 的零空间中）
|
||
|
||
## 相比其他保留方法
|
||
|
||
| 方法 | 机制 | 效果 |
|
||
|------|------|------|
|
||
| **KORE-CONSTRAINT** | 零空间投影 | 最有效 |
|
||
| EWC | 重要参数正则化 | 几乎无效 |
|
||
| LwF | 蒸馏旧输出 | 甚至加剧退化 |
|
||
| MoELoRA | 专家隔离 | 次优 |
|
||
| Replay | 混合旧数据训练 | 有效但需存储旧数据 |
|
||
|
||
## 增量注入能力
|
||
通过冻结 A 矩阵，KORE 支持**顺序注入多批新知识**而不会累积遗忘——每次新注入的 A 都在累积协方差矩阵的零空间中。
|
||
|
||
## 参见
|
||
|
||
- [[null-space-projection-knowledge|零空间投影知识保留]]
|
||
- [[covariance-matrix-knowledge|协方差矩阵知识存储]]
|
||
- [[kore-augmentation|KORE-AUGMENTATION]]
|
||
- [[knowledge-retention|知识保留]]
|