---
title: "协方差矩阵知识存储 (Covariance Matrix Knowledge Storage)"
created: 2026-05-21
type: concept
tags: ["linear-algebra", "knowledge-representation", "model-analysis"]
sources: ["[[kore-knowledge-injection]]"]
---

# 协方差矩阵知识存储

## 定义

协方差矩阵知识存储是指利用 LMM 线性层激活的**协方差矩阵**来捕获和存储模型已有的多模态知识。这一技术在 [[kore-constraint|KORE-CONSTRAINT]] 中被用于识别"哪些参数空间已被旧知识占据"。

## 构建方式

对 LMM 在代表预训练知识的样本上的激活 X ∈ R^{d_in × BL}：
C = XX^T

使用 OneVision 数据集的 256 个样本（General, Doc/Chart/Screen, Math/Reasoning, General OCR）构建多维协方差矩阵。

## 为什么协方差矩阵能存储知识？

### 证据 1：重构实验
对 C 进行 SVD → 移除最小 r 个奇异值对应的分量 → 重构权重。CO-SVD 比 Plain SVD 和 ASVD 更好地保留了性能，说明**多模态知识可以被协方差矩阵有效捕获**。

### 证据 2：任务模式可视化
- 相关任务（POPE 和 HallusionBench）在协方差矩阵中展示**相似的异常值模式**
- 不相关任务（MMBench）展示**不同的模式**
- 说明协方差矩阵中的异常值分布**编码了任务特定的知识结构**

## 应用

在 KORE 中，协方差矩阵的零空间被用于初始化 LoRA adapter，确保微调不会干扰已有知识。

## 参见

- [[null-space-projection-knowledge|零空间投影知识保留]]
- [[kore-constraint|KORE-CONSTRAINT]]
- [[covariance-matrix|协方差矩阵]]