20260601

concepts/knowledge-aware-augmentation.md

@@ -0,0 +1,44 @@
+---
+title: "知识感知增强 (Knowledge-Aware Augmentation)"
+created: 2026-05-21
+type: concept
+tags: ["data-augmentation", "knowledge-injection", "multimodal"]
+sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
+---
+
+# 知识感知增强 (Knowledge-Aware Augmentation)
+
+## 定义
+
+知识感知增强是一种**知识驱动的语义级数据增强**策略，通过对知识的深层理解进行创造性改写和补充，而非机械的表面变换。
+
+## 与数据增强的核心区别
+
+| 维度 | [[knowledge-agnostic-augmentation|知识无关增强]] | 知识感知增强 |
+|------|------------|------------|
+| 驱动方式 | 规则驱动 | 知识驱动 |
+| 文本增强 | 同义词替换 | 基于理解的创造性改写 |
+| 图像增强 | 旋转/裁剪/颜色变换 | 引入真实世界多角度图像 |
+| 语义增益 | 无 | 丰富概念感知 |
+| 效果 | **负面**（-5.66% CEM） | **正面**（+11.32% CEM） |
+
+## 效果
+
+在 MMEVOKE 基准上，仅使用**单个数据实例**的知识感知增强：
+- 文本增强：+11.32% CEM，+39.82% F1
+- 视觉增强：+43.28% CEM，+13.19% F1
+- 性能随数据量增加进一步提升
+
+## 意外发现
+
+知识感知增强不仅能提升知识适应，还能**部分缓解能力退化**——在 MMBench、SEEDBench2 Plus、ScienceQA 上超过标准 Full-FT 和 LoRA，甚至超过专门的保留技术（EWC、LwF）。
+
+## 本质
+
+体现了"数据记忆"与"知识内化"的根本区别——前者仅能拟合训练数据，后者却能提取和操控事实知识。
+
+## 参见
+
+- [[knowledge-agnostic-augmentation|知识无关增强]]
+- [[knowledge-injection|知识注入]]
+- [[capability-degradation|能力退化]]