43 lines
1.4 KiB
Markdown
43 lines
1.4 KiB
Markdown
---
|
||
title: "零空间投影知识保留 (Null Space Projection for Knowledge Retention)"
|
||
created: 2026-05-21
|
||
type: concept
|
||
tags: ["null-space", "continual-learning", "linear-algebra"]
|
||
sources: ["[[kore-knowledge-injection]]"]
|
||
---
|
||
|
||
# 零空间投影知识保留
|
||
|
||
## 定义
|
||
|
||
零空间投影知识保留是 [[kore-constraint|KORE-CONSTRAINT]] 的核心技术，通过将微调方向限制在已有知识协方差矩阵的**零空间**中，实现新知识注入与旧知识保留的完美解耦。
|
||
|
||
## 数学原理
|
||
|
||
给定预训练权重 W₀ 和激活协方差矩阵 C = XX^T：
|
||
|
||
目标：W*C ≈ W₀C（旧知识的输出保持稳定）
|
||
|
||
→ (W₀ + BA)C ≈ W₀C → BAC ≈ 0 → **AC = 0**
|
||
|
||
解决方案：将 A 矩阵限制在 C 的零空间中：
|
||
1. SVD(C) → 提取零空间的基向量 Û
|
||
2. P = ÛÛ^T（零空间投影矩阵）
|
||
3. W₀P 作为微调的起点
|
||
|
||
## 优势
|
||
|
||
- **精确性**：数学上保证 BAC = 0，而非启发式近似
|
||
- **可组合性**：支持多批知识的顺序注入
|
||
- **参数效率**：与 LoRA 无缝集成，增量参数极少
|
||
|
||
## 直观理解
|
||
|
||
协方差矩阵 C 的**列空间**是已有知识占据的"空间"。零空间是与之正交的"未使用空间"。在零空间中微调意味着：新知识被写入模型的"空白区域"，不会覆盖已有知识。
|
||
|
||
## 参见
|
||
|
||
- [[kore-constraint|KORE-CONSTRAINT]]
|
||
- [[covariance-matrix-knowledge|协方差矩阵知识存储]]
|
||
- [[null-space|零空间]]
|