---
title: "KORE-CONSTRAINT（知识导向约束）"
created: 2026-05-21
type: concept
tags: ["continual-learning", "null-space", "lora", "knowledge-retention"]
sources: ["[[kore-knowledge-injection]]"]
---

# KORE-CONSTRAINT（知识导向约束）

## 定义

KORE-CONSTRAINT 是一种基于**零空间投影**的知识保留方法，通过在 LMM 线性层激活的协方差矩阵零空间中初始化 LoRA adapter，确保微调方向**最小化对已有知识的干扰**。

## 核心机制

### 1. 协方差矩阵存储知识
收集 LMM 在代表预训练知识的随机样本上的激活 X ∈ R^{d_in × BL}，计算协方差矩阵：
C = XX^T ∈ R^{d_in × d_in}

C 有效捕获了多模态知识——相关任务（POPE 和 HallusionBench）在 C 中展示相似模式，而无关任务则不同。

### 2. 零空间投影
对 C 进行 SVD 分解 → 提取零空间（对应最小奇异值的向量）→ 构建投影矩阵 P = ÛÛ^T

### 3. 初始化 LoRA Adapter
将预训练权重 W₀ 投影到零空间：
- SVD(W₀P) = U*, Σ*, (V*)^T
- B = U*√Σ*,  A = √Σ*(V*)^T
- 调整原始权重：W₀' = W₀ - BA（确保微调开始时模型不变）

### 4. 冻结 A，仅微调 B
A 被冻结在零空间内 → 更新项 BAC ≈ 0 → **无论 B 如何变化，旧知识不受影响**

## 目标公式
W*C = (W₀ + BA)C ≈ W₀C → BAC ≈ 0 → AC = 0（A 在 C 的零空间中）

## 相比其他保留方法

| 方法 | 机制 | 效果 |
|------|------|------|
| **KORE-CONSTRAINT** | 零空间投影 | 最有效 |
| EWC | 重要参数正则化 | 几乎无效 |
| LwF | 蒸馏旧输出 | 甚至加剧退化 |
| MoELoRA | 专家隔离 | 次优 |
| Replay | 混合旧数据训练 | 有效但需存储旧数据 |

## 增量注入能力
通过冻结 A 矩阵，KORE 支持**顺序注入多批新知识**而不会累积遗忘——每次新注入的 A 都在累积协方差矩阵的零空间中。

## 参见

- [[null-space-projection-knowledge|零空间投影知识保留]]
- [[covariance-matrix-knowledge|协方差矩阵知识存储]]
- [[kore-augmentation|KORE-AUGMENTATION]]
- [[knowledge-retention|知识保留]]