---
title: "LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory (Wu et al., UCLA/Tencent, ICLR 2025)"
created: 2026-06-25
updated: 2026-06-25
type: paper
tags: ["memory-benchmark", "chat-assistant", "long-term-memory", "evaluation"]
sources:
  - "https://arxiv.org/abs/2410.10813"
code: "https://github.com/xiaowu0162/LongMemEval"
---

# LongMemEval: Benchmarking Long-Term Interactive Memory in Chat Assistants

> Wu et al. | UCLA / Tencent AI Lab Seattle / UC San Diego | ICLR 2025 | arXiv:2410.10813

## 问题

LLM 驱动的聊天助手已集成记忆组件来追踪交互历史，但其在**持续交互中的长期记忆能力**缺乏系统评估。现有基准有两个缺陷：
1. 对话历史过短（几千 tokens），无法挑战现代系统的记忆能力
2. 问题覆盖面窄——缺少跨会话推理、时间推理、知识更新、信息遗忘等关键能力

## [[longmem-eval|LongMemEval 基准]]

### 问题形式化

每个评测实例为 4-元组 (S, q, t_q, a)：
- **S** = [(t₁, S₁), ..., (t_N, S_N)]：按时间排序的 N 个历史会话，每个 S_i 是多轮用户-助手交互
- **q**：问题
- **t_q**：提问时间戳
- **a**：答案

### 五种核心记忆能力 (500 题)

| 能力 | 说明 | 例子 |
|------|------|------|
| **Information Extraction** | 从单/多会话提取隐藏信息 | "我上次去博物馆是什么时候？" |
| **Multi-Session Reasoning** | 跨多个会话综合信息 | "我目前拥有多少乐器？"（分散在 4 个会话中） |
| **Temporal Reasoning** | 基于时间参考的推理 | "距离我上次和朋友去博物馆过去了几个月？" |
| **Knowledge Updates** | 处理用户信息的更新/矛盾 | 用户先说过敏花生→后来说不过敏 |
| **Abstention** | 识别无法回答的问题 | 问 30-gallon 鱼缸的鱼数——但用户只有 10-gallon |

### 两种标准设置

| 设置 | 规模 | 难度 |
|------|------|------|
| LongMemEval **S** | ~115k tokens/problem | 长上下文 LLM 下降 30-60% |
| LongMemEval **M** | 500 sessions, ~1.5M tokens | 极大规模长时间交互 |

## 统一记忆设计框架：[[memory-indexing-retrieval-reading|索引→检索→阅读]]

将记忆系统分解为三个阶段 × 四个控制点：

```
会话 → [Value 粒度] → [Key 索引] → 存储
                                    ↓
查询 → [Query 展开] → 检索 → [Reading 策略] → 答案
```

**三阶段**：Indexing（索引写入）、Retrieval（检索召回）、Reading（阅读利用）
**四控制点**：Value（存储粒度）、Key（索引键）、Query（查询）、Reading Strategy（利用策略）

## 关键实验发现

### 1. 粒度：Round > Session > User Fact

Session 级别的存储信息损失严重。最优粒度是 **round**（单轮交互），但进一步压缩为 user facts 会在总体精度上反降——尽管它提升了多会话推理准确度。

### 2. [[fact-augmented-key-expansion|事实增强的 Key 展开]]

用提取的用户事实（而非仅对话原文）作为索引键：
- 记忆召回 +9.4% (recall@k)
- 下游 QA 准确度 +5.4%

### 3. [[time-aware-query-expansion|时间感知的 Query 展开]]

直接把时间戳关联到事实并缩小搜索范围：
- 时间推理召回 +6.8%～11.3%（当使用强 LLM 展开查询时）

### 4. Reading 策略：Chain-of-Note + 结构化格式

即使完美召回，准确利用检索到的项目仍非易事。Chain-of-Note + 结构化数据格式在三类 LLM 上提升 QA 达 **10 个绝对百分点**。

## 核心洞察

1. **记忆评测需要覆盖"遗忘"**——Abstention 是 LongMemEval 的独特贡献：模型必须学会说"我不知道"，而非幻想答案
2. **三阶段框架统一了记忆设计空间**——indexing/retrieval/reading 的分拆使不同优化策略可以在独立控制点上叠加
3. **Key 展开的价值大于 Query 展开**——在索引阶段用结构化事实增强 key 比在查询阶段做 rewrite 更高效（+9.4% vs +6.8-11.3%）
4. **与 Atlas 的对接点**：LongMemEval 的三阶段框架可以直接映射到 Atlas 的 ES 记忆管线——round 粒度 → episodic 索引，fact-augmented key 对应 semantic 索引的 consolidation 输出

## 来源
[原始存档](raw/papers/longmem-eval-2025.md) | [arXiv](https://arxiv.org/abs/2410.10813) | [GitHub](https://github.com/xiaowu0162/LongMemEval)