--- title: "知识感知增强 (Knowledge-Aware Augmentation)" created: 2026-05-21 type: concept tags: ["data-augmentation", "knowledge-injection", "multimodal"] sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"] --- # 知识感知增强 (Knowledge-Aware Augmentation) ## 定义 知识感知增强是一种**知识驱动的语义级数据增强**策略,通过对知识的深层理解进行创造性改写和补充,而非机械的表面变换。 ## 与数据增强的核心区别 | 维度 | [[knowledge-agnostic-augmentation|知识无关增强]] | 知识感知增强 | |------|------------|------------| | 驱动方式 | 规则驱动 | 知识驱动 | | 文本增强 | 同义词替换 | 基于理解的创造性改写 | | 图像增强 | 旋转/裁剪/颜色变换 | 引入真实世界多角度图像 | | 语义增益 | 无 | 丰富概念感知 | | 效果 | **负面**(-5.66% CEM) | **正面**(+11.32% CEM) | ## 效果 在 MMEVOKE 基准上,仅使用**单个数据实例**的知识感知增强: - 文本增强:+11.32% CEM,+39.82% F1 - 视觉增强:+43.28% CEM,+13.19% F1 - 性能随数据量增加进一步提升 ## 意外发现 知识感知增强不仅能提升知识适应,还能**部分缓解能力退化**——在 MMBench、SEEDBench2 Plus、ScienceQA 上超过标准 Full-FT 和 LoRA,甚至超过专门的保留技术(EWC、LwF)。 ## 本质 体现了"数据记忆"与"知识内化"的根本区别——前者仅能拟合训练数据,后者却能提取和操控事实知识。 ## 参见 - [[knowledge-agnostic-augmentation|知识无关增强]] - [[knowledge-injection|知识注入]] - [[capability-degradation|能力退化]]