37 lines
1.5 KiB
Markdown
37 lines
1.5 KiB
Markdown
---
|
||
title: "Distractor Context / 干扰上下文"
|
||
created: 2026-05-14
|
||
type: concept
|
||
tags: ["experiment-design", "retrieval", "context-management", "realism"]
|
||
sources: ["https://arxiv.org/abs/2604.15597"]
|
||
---
|
||
|
||
# Distractor Context
|
||
|
||
干扰上下文（Distractor Context）是 [[delegate-52]] 实验设计中的一个关键要素：每个工作环境包含 8-12k tokens 的**话题相关但不需编辑**的文档，模拟真实场景中检索精度不完美的情况。
|
||
|
||
## 设计动机
|
||
|
||
在真实工作环境中，用户提供给 LLM 的文档并非全都与当前任务相关（检索精度不完美）。干扰上下文迫使模型在编辑前判断哪些文档与任务相关。
|
||
|
||
## 实验发现
|
||
|
||
| 度量 | 含干扰 | 去干扰 | 差异 |
|
||
|------|--------|--------|------|
|
||
| 第 2 次交互 | 94.3 (GPT 5.4) | 94.7 | +0.4% |
|
||
| 第 20 次交互 | 71.5 (GPT 5.4) | 77.8 | +6.3% |
|
||
|
||
### 关键洞察
|
||
|
||
干扰的危害随交互长度**放大**——短交互评估会**严重低估**干扰的长期影响。这个发现与 Shi et al. (2023) 的无关上下文干扰研究一致，并扩展到长视界设置。
|
||
|
||
## 对检索系统的意义
|
||
|
||
长期基准能捕捉改进检索（减少干扰）的**持续效果**——这对检索系统的评估有直接意义：仅测量短期精度可能低估检索质量对下游任务的影响。
|
||
|
||
## 相关概念
|
||
|
||
- [[delegate-52]] — 使用干扰上下文的基准
|
||
- [[long-horizon-evaluation]] — 揭示干扰放大效应的框架
|
||
- [[document-degradation]] — 干扰加剧的退化
|