title, created, type, tags, sources
| title |
created |
type |
tags |
sources |
| KORE-AUGMENTATION(知识导向增强) |
2026-05-21 |
concept |
| knowledge-injection |
| data-augmentation |
| multimodal |
|
|
KORE-AUGMENTATION(知识导向增强)
定义
KORE-AUGMENTATION 是一种结构化知识增强方法,将单个知识项自动转化为多层次的knowledge-tree,实现从"数据记忆"到"知识内化"的跨越。
知识树结构
主干(Trunk):多轮对话数据
- 启发式 Q&A:手工模板随机构建
- 对话 Q&A:GPT-4o 根据原始文本知识生成最多 10 轮对话
- 产出:75,710 条对话数据
分支(Branches):指令任务数据
- 视觉识别:CLIP 检索相似图像 → 回答 "Yes/No"
- 图像描述:GPT-4o 基于知识摘要生成答案
- VQA:GPT-4o 生成 (Q, A, Subject, Hypernym) 四元组 → Google 搜索图像
- 产出:46,468 条 VQA 样本
与一般增强的区别
| 维度 |
一般增强 |
KORE-AUGMENTATION |
| 文本增强 |
同义词替换/改写(离散变体) |
结构化多轮对话 |
| 图像增强 |
旋转/裁剪(表面变换) |
CLIP 检索 + 视觉识别/描述/VQA |
| 知识结构 |
孤立数据点,无连接 |
连贯的知识树 |
| 目标 |
扩大数据暴露面 |
知识理解和内化 |
本质
一般增强停留在"数据记忆"层面——模型仅能拟合训练数据。KORE-AUGMENTATION 上升到"知识内化"——模型能理解知识的内在逻辑和关联,灵活提取和操控学到的知识。
参见