20260601

concepts/covariance-matrix-knowledge.md

@@ -0,0 +1,40 @@
+---
+title: "协方差矩阵知识存储 (Covariance Matrix Knowledge Storage)"
+created: 2026-05-21
+type: concept
+tags: ["linear-algebra", "knowledge-representation", "model-analysis"]
+sources: ["[[kore-knowledge-injection]]"]
+---
+
+# 协方差矩阵知识存储
+
+## 定义
+
+协方差矩阵知识存储是指利用 LMM 线性层激活的**协方差矩阵**来捕获和存储模型已有的多模态知识。这一技术在 [[kore-constraint|KORE-CONSTRAINT]] 中被用于识别"哪些参数空间已被旧知识占据"。
+
+## 构建方式
+
+对 LMM 在代表预训练知识的样本上的激活 X ∈ R^{d_in × BL}：
+C = XX^T
+
+使用 OneVision 数据集的 256 个样本（General, Doc/Chart/Screen, Math/Reasoning, General OCR）构建多维协方差矩阵。
+
+## 为什么协方差矩阵能存储知识？
+
+### 证据 1：重构实验
+对 C 进行 SVD → 移除最小 r 个奇异值对应的分量 → 重构权重。CO-SVD 比 Plain SVD 和 ASVD 更好地保留了性能，说明**多模态知识可以被协方差矩阵有效捕获**。
+
+### 证据 2：任务模式可视化
+- 相关任务（POPE 和 HallusionBench）在协方差矩阵中展示**相似的异常值模式**
+- 不相关任务（MMBench）展示**不同的模式**
+- 说明协方差矩阵中的异常值分布**编码了任务特定的知识结构**
+
+## 应用
+
+在 KORE 中，协方差矩阵的零空间被用于初始化 LoRA adapter，确保微调不会干扰已有知识。
+
+## 参见
+
+- [[null-space-projection-knowledge|零空间投影知识保留]]
+- [[kore-constraint|KORE-CONSTRAINT]]
+- [[covariance-matrix|协方差矩阵]]