1.6 KiB
1.6 KiB
title, created, type, tags, sources
| title | created | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|
| 协方差矩阵知识存储 (Covariance Matrix Knowledge Storage) | 2026-05-21 | concept |
|
|
协方差矩阵知识存储
定义
协方差矩阵知识存储是指利用 LMM 线性层激活的协方差矩阵来捕获和存储模型已有的多模态知识。这一技术在 kore-constraint 中被用于识别"哪些参数空间已被旧知识占据"。
构建方式
对 LMM 在代表预训练知识的样本上的激活 X ∈ R^{d_in × BL}： C = XX^T
使用 OneVision 数据集的 256 个样本（General, Doc/Chart/Screen, Math/Reasoning, General OCR）构建多维协方差矩阵。
为什么协方差矩阵能存储知识？
证据 1：重构实验
对 C 进行 SVD → 移除最小 r 个奇异值对应的分量 → 重构权重。CO-SVD 比 Plain SVD 和 ASVD 更好地保留了性能，说明多模态知识可以被协方差矩阵有效捕获。
证据 2：任务模式可视化
- 相关任务（POPE 和 HallusionBench）在协方差矩阵中展示相似的异常值模式
- 不相关任务（MMBench）展示不同的模式
- 说明协方差矩阵中的异常值分布编码了任务特定的知识结构
应用
在 KORE 中，协方差矩阵的零空间被用于初始化 LoRA adapter，确保微调不会干扰已有知识。