41 lines
1.6 KiB
Markdown
41 lines
1.6 KiB
Markdown
---
|
||
title: "协方差矩阵知识存储 (Covariance Matrix Knowledge Storage)"
|
||
created: 2026-05-21
|
||
type: concept
|
||
tags: ["linear-algebra", "knowledge-representation", "model-analysis"]
|
||
sources: ["[[kore-knowledge-injection]]"]
|
||
---
|
||
|
||
# 协方差矩阵知识存储
|
||
|
||
## 定义
|
||
|
||
协方差矩阵知识存储是指利用 LMM 线性层激活的**协方差矩阵**来捕获和存储模型已有的多模态知识。这一技术在 [[kore-constraint|KORE-CONSTRAINT]] 中被用于识别"哪些参数空间已被旧知识占据"。
|
||
|
||
## 构建方式
|
||
|
||
对 LMM 在代表预训练知识的样本上的激活 X ∈ R^{d_in × BL}：
|
||
C = XX^T
|
||
|
||
使用 OneVision 数据集的 256 个样本（General, Doc/Chart/Screen, Math/Reasoning, General OCR）构建多维协方差矩阵。
|
||
|
||
## 为什么协方差矩阵能存储知识？
|
||
|
||
### 证据 1：重构实验
|
||
对 C 进行 SVD → 移除最小 r 个奇异值对应的分量 → 重构权重。CO-SVD 比 Plain SVD 和 ASVD 更好地保留了性能，说明**多模态知识可以被协方差矩阵有效捕获**。
|
||
|
||
### 证据 2：任务模式可视化
|
||
- 相关任务（POPE 和 HallusionBench）在协方差矩阵中展示**相似的异常值模式**
|
||
- 不相关任务（MMBench）展示**不同的模式**
|
||
- 说明协方差矩阵中的异常值分布**编码了任务特定的知识结构**
|
||
|
||
## 应用
|
||
|
||
在 KORE 中，协方差矩阵的零空间被用于初始化 LoRA adapter，确保微调不会干扰已有知识。
|
||
|
||
## 参见
|
||
|
||
- [[null-space-projection-knowledge|零空间投影知识保留]]
|
||
- [[kore-constraint|KORE-CONSTRAINT]]
|
||
- [[covariance-matrix|协方差矩阵]]
|