2.1 KiB
2.1 KiB
title, created, type, tags, sources
| title | created | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|
| KORE-CONSTRAINT（知识导向约束） | 2026-05-21 | concept |
|
|
KORE-CONSTRAINT（知识导向约束）
定义
KORE-CONSTRAINT 是一种基于零空间投影的知识保留方法，通过在 LMM 线性层激活的协方差矩阵零空间中初始化 LoRA adapter，确保微调方向最小化对已有知识的干扰。
核心机制
1. 协方差矩阵存储知识
收集 LMM 在代表预训练知识的随机样本上的激活 X ∈ R^{d_in × BL}，计算协方差矩阵： C = XX^T ∈ R^{d_in × d_in}
C 有效捕获了多模态知识——相关任务（POPE 和 HallusionBench）在 C 中展示相似模式，而无关任务则不同。
2. 零空间投影
对 C 进行 SVD 分解 → 提取零空间（对应最小奇异值的向量）→ 构建投影矩阵 P = ÛÛ^T
3. 初始化 LoRA Adapter
将预训练权重 W₀ 投影到零空间：
- SVD(W₀P) = U*, Σ*, (V*)^T
- B = U*√Σ*, A = √Σ*(V*)^T
- 调整原始权重：W₀' = W₀ - BA（确保微调开始时模型不变）
4. 冻结 A，仅微调 B
A 被冻结在零空间内 → 更新项 BAC ≈ 0 → 无论 B 如何变化，旧知识不受影响
目标公式
W*C = (W₀ + BA)C ≈ W₀C → BAC ≈ 0 → AC = 0（A 在 C 的零空间中）
相比其他保留方法
| 方法 | 机制 | 效果 |
|---|---|---|
| KORE-CONSTRAINT | 零空间投影 | 最有效 |
| EWC | 重要参数正则化 | 几乎无效 |
| LwF | 蒸馏旧输出 | 甚至加剧退化 |
| MoELoRA | 专家隔离 | 次优 |
| Replay | 混合旧数据训练 | 有效但需存储旧数据 |
增量注入能力
通过冻结 A 矩阵，KORE 支持顺序注入多批新知识而不会累积遗忘——每次新注入的 A 都在累积协方差矩阵的零空间中。