20260601

concepts/null-space-projection-knowledge.md

@@ -0,0 +1,42 @@
+---
+title: "零空间投影知识保留 (Null Space Projection for Knowledge Retention)"
+created: 2026-05-21
+type: concept
+tags: ["null-space", "continual-learning", "linear-algebra"]
+sources: ["[[kore-knowledge-injection]]"]
+---
+
+# 零空间投影知识保留
+
+## 定义
+
+零空间投影知识保留是 [[kore-constraint|KORE-CONSTRAINT]] 的核心技术，通过将微调方向限制在已有知识协方差矩阵的**零空间**中，实现新知识注入与旧知识保留的完美解耦。
+
+## 数学原理
+
+给定预训练权重 W₀ 和激活协方差矩阵 C = XX^T：
+
+目标：W*C ≈ W₀C（旧知识的输出保持稳定）
+
+→ (W₀ + BA)C ≈ W₀C → BAC ≈ 0 → **AC = 0**
+
+解决方案：将 A 矩阵限制在 C 的零空间中：
+1. SVD(C) → 提取零空间的基向量 Û
+2. P = ÛÛ^T（零空间投影矩阵）
+3. W₀P 作为微调的起点
+
+## 优势
+
+- **精确性**：数学上保证 BAC = 0，而非启发式近似
+- **可组合性**：支持多批知识的顺序注入
+- **参数效率**：与 LoRA 无缝集成，增量参数极少
+
+## 直观理解
+
+协方差矩阵 C 的**列空间**是已有知识占据的"空间"。零空间是与之正交的"未使用空间"。在零空间中微调意味着：新知识被写入模型的"空白区域"，不会覆盖已有知识。
+
+## 参见
+
+- [[kore-constraint|KORE-CONSTRAINT]]
+- [[covariance-matrix-knowledge|协方差矩阵知识存储]]
+- [[null-space|零空间]]