45 lines
1.7 KiB
Markdown
45 lines
1.7 KiB
Markdown
---
|
||
title: "知识感知增强 (Knowledge-Aware Augmentation)"
|
||
created: 2026-05-21
|
||
type: concept
|
||
tags: ["data-augmentation", "knowledge-injection", "multimodal"]
|
||
sources: ["[[when-large-multimodal-models-confront-evolving-knowledge]]"]
|
||
---
|
||
|
||
# 知识感知增强 (Knowledge-Aware Augmentation)
|
||
|
||
## 定义
|
||
|
||
知识感知增强是一种**知识驱动的语义级数据增强**策略，通过对知识的深层理解进行创造性改写和补充，而非机械的表面变换。
|
||
|
||
## 与数据增强的核心区别
|
||
|
||
| 维度 | [[knowledge-agnostic-augmentation|知识无关增强]] | 知识感知增强 |
|
||
|------|------------|------------|
|
||
| 驱动方式 | 规则驱动 | 知识驱动 |
|
||
| 文本增强 | 同义词替换 | 基于理解的创造性改写 |
|
||
| 图像增强 | 旋转/裁剪/颜色变换 | 引入真实世界多角度图像 |
|
||
| 语义增益 | 无 | 丰富概念感知 |
|
||
| 效果 | **负面**（-5.66% CEM） | **正面**（+11.32% CEM） |
|
||
|
||
## 效果
|
||
|
||
在 MMEVOKE 基准上，仅使用**单个数据实例**的知识感知增强：
|
||
- 文本增强：+11.32% CEM，+39.82% F1
|
||
- 视觉增强：+43.28% CEM，+13.19% F1
|
||
- 性能随数据量增加进一步提升
|
||
|
||
## 意外发现
|
||
|
||
知识感知增强不仅能提升知识适应，还能**部分缓解能力退化**——在 MMBench、SEEDBench2 Plus、ScienceQA 上超过标准 Full-FT 和 LoRA，甚至超过专门的保留技术（EWC、LwF）。
|
||
|
||
## 本质
|
||
|
||
体现了"数据记忆"与"知识内化"的根本区别——前者仅能拟合训练数据，后者却能提取和操控事实知识。
|
||
|
||
## 参见
|
||
|
||
- [[knowledge-agnostic-augmentation|知识无关增强]]
|
||
- [[knowledge-injection|知识注入]]
|
||
- [[capability-degradation|能力退化]]
|