---
title: CL-Bench Life
created: 2026-05-01
updated: 2026-05-01
type: concept
tags: [benchmark, llm, alignment]
sources: [papers/hunyuan-team-cl-bench-life.md]
---

# CL-Bench Life

> 首个**全人工策展**的真实生活上下文学习基准，评估 LM 从混乱、碎片化日常上下文中学习并推理的能力。

## 定义

CL-bench Life 是由腾讯混元团队与复旦大学联合构建的 [[real-life-context-learning]] 评估基准，包含 405 个上下文-任务对和 5,348 个验证细则。每个任务以身临其境的真实生活上下文为输入，要求模型不依赖外部检索，仅从给定上下文中推理求解。

## 设计原则

### 上下文自包含性
所有任务所需信息已整合在提供的上下文中，模型无需调用外部检索工具。这一设计**干净地隔离了"上下文学习"这一单一能力**，排除了搜索、工具调用、记忆检索等前期阶段的干扰。

### 全人工策展
每个实例（context + task + rubrics）均由人工编写，确保了任务的真实性和评估的一致性，避免自动生成的偏差。

### 均衡分布
三大类别各占 33.3%，每类下三个子类各占 11.1%，避免对单一上下文类型的评估偏差。

## 三大上下文类别

```mermaid
graph TD
    CL[CL-Bench Life: 405 pairs]
    CL --> A[沟通与社交互动 135]
    CL --> B[碎片化信息与修订 135]
    CL --> C[行为记录与活动轨迹 135]
    A --> A1[私密对话]
    A --> A2[群聊与会议]
    A --> A3[社区互动]
    B --> B1[个人信息碎片]
    B --> B2[公共信息碎片]
    B --> B3[创作与修订历史]
    C --> C1[游戏日志]
    C --> C2[数字足迹]
    C --> C3[自我追踪轨迹]
```

## 评估方法

### Judge Model
使用 LLM-as-judge 进行自动评估。每个任务配备一组 rubrics（细则）：

- ✅ **必须覆盖项**：回复必须包含的信息或推理步骤
- ❌ **禁止出现项**：回复不得包含的错误内容（附理据说明）

每个 rubric 独立判定 pass/fail，任务整体评分取决于所有 rubrics 的满足情况。

### 四种错误类型
评估框架识别四种非互斥的失败模式：

| 错误类型 | 含义 | 占比 |
|---------|------|------|
| **Context-Misused** | 读了上下文但推理错误 | **76-84%** |
| Context-Ignored | 完全未使用关键上下文信息 | 36-45% |
| Format-Error | 输出格式不符合要求 | 10-16% |
| Refusal | 明确拒答或虚假声称信息不足 | <3% |

## 核心指标

- 405 上下文-任务对，5,348 个 rubrics
- 59.8% 为多轮交互
- 上下文长度：5.4K – 170.8K tokens，平均 19.4K
- 最佳模型 (GPT-5.4)：19.3% 解决率
- 十模型平均：13.8%

## 相关概念
- [[real-life-context-learning]] — 真实生活上下文学习
- [[context-misuse]] — 上下文误用：核心失败模式
- [[messy-context-reasoning]] — 混乱上下文推理
- [[hunyuan-team-cl-bench-life]] — 论文详情

---

*Last Updated: 2026-05-01*