1.4 KiB
1.4 KiB
title, created, type, tags, sources
| title | created | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|
| 零空间投影知识保留 (Null Space Projection for Knowledge Retention) | 2026-05-21 | concept |
|
|
零空间投影知识保留
定义
零空间投影知识保留是 kore-constraint 的核心技术，通过将微调方向限制在已有知识协方差矩阵的零空间中，实现新知识注入与旧知识保留的完美解耦。
数学原理
给定预训练权重 W₀ 和激活协方差矩阵 C = XX^T：
目标：W*C ≈ W₀C（旧知识的输出保持稳定）
→ (W₀ + BA)C ≈ W₀C → BAC ≈ 0 → AC = 0
解决方案：将 A 矩阵限制在 C 的零空间中：
- SVD(C) → 提取零空间的基向量 Û
- P = ÛÛ^T（零空间投影矩阵）
- W₀P 作为微调的起点
优势
- 精确性：数学上保证 BAC = 0，而非启发式近似
- 可组合性：支持多批知识的顺序注入
- 参数效率：与 LoRA 无缝集成，增量参数极少
直观理解
协方差矩阵 C 的列空间是已有知识占据的"空间"。零空间是与之正交的"未使用空间"。在零空间中微调意味着：新知识被写入模型的"空白区域"，不会覆盖已有知识。