1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 记忆去重管线 | 2026-06-19 | 2026-06-19 | concept |
|
|
记忆去重管线（Memory Dedup Pipeline）
定义
MemOS 的三级去重漏斗——用于在记忆组织阶段消除冗余、合并矛盾、压缩记忆存储。平均压缩比达到 75%+。
三级漏斗
原始记忆
│
▼
① SHA-256 精确去重 ← 完全相同 → 直接丢弃
│
▼
② 向量余弦相似度 ← 高度相似 → 标记候选合并
│
▼
③ LLM Judge 矛盾检测与合并 ← 语义判断 → 智能合并或保留
│
▼
去重后记忆（压缩比 75%+）
第一级：SHA-256 精确去重
- 逐字节比对，完全相同的记忆直接丢弃
- 成本极低，速度最快
第二级：向量余弦相似度
- 将记忆文本映射到嵌入空间
- 高相似度（但非完全相同）的记忆标记为候选合并
- 阈值可配置
第三级：LLM Judge 矛盾检测与智能合并
- 对候选合并项进行语义级别判断
- 检测矛盾——两条看似相似的记忆是否实际冲突？
- 智能合并——保留互补信息，去除冗余
- 这是最昂贵但最关键的一级
关键效果
接入 MemOS 后：
- 单次上下文成本 -30%+
- 交互轮次 -50%+
- 最终 token 消耗降低近 50%