---
title: "零空间投影知识保留 (Null Space Projection for Knowledge Retention)"
created: 2026-05-21
type: concept
tags: ["null-space", "continual-learning", "linear-algebra"]
sources: ["[[kore-knowledge-injection]]"]
---

# 零空间投影知识保留

## 定义

零空间投影知识保留是 [[kore-constraint|KORE-CONSTRAINT]] 的核心技术，通过将微调方向限制在已有知识协方差矩阵的**零空间**中，实现新知识注入与旧知识保留的完美解耦。

## 数学原理

给定预训练权重 W₀ 和激活协方差矩阵 C = XX^T：

目标：W*C ≈ W₀C（旧知识的输出保持稳定）

→ (W₀ + BA)C ≈ W₀C → BAC ≈ 0 → **AC = 0**

解决方案：将 A 矩阵限制在 C 的零空间中：
1. SVD(C) → 提取零空间的基向量 Û
2. P = ÛÛ^T（零空间投影矩阵）
3. W₀P 作为微调的起点

## 优势

- **精确性**：数学上保证 BAC = 0，而非启发式近似
- **可组合性**：支持多批知识的顺序注入
- **参数效率**：与 LoRA 无缝集成，增量参数极少

## 直观理解

协方差矩阵 C 的**列空间**是已有知识占据的"空间"。零空间是与之正交的"未使用空间"。在零空间中微调意味着：新知识被写入模型的"空白区域"，不会覆盖已有知识。

## 参见

- [[kore-constraint|KORE-CONSTRAINT]]
- [[covariance-matrix-knowledge|协方差矩阵知识存储]]
- [[null-space|零空间]]