61 lines
3.1 KiB
Markdown
61 lines
3.1 KiB
Markdown
---
|
||
title: "DELEGATE-52 Review"
|
||
created: 2026-05-14
|
||
type: review
|
||
tags: ["delegated-work", "document-editing", "benchmark", "long-horizon", "backtranslation"]
|
||
---
|
||
|
||
# 📌 基本信息
|
||
|
||
- **论文标题**: LLMs Corrupt Your Documents When You Delegate
|
||
- **作者**: Philippe Laban, Tobias Schnabel, Jennifer Neville (Microsoft Research)
|
||
- **领域**: cs.CL（计算语言学）, cs.HC（人机交互）
|
||
- **arXiv ID**: 2604.15597
|
||
- **添加时间**: 2026-05-14
|
||
|
||
# 🎯 核心概念
|
||
|
||
1. **[[delegate-52]]** — 310 工作环境 × 52 专业领域的基准，评估 LLM 委托工作就绪性
|
||
2. **[[backtranslation-round-trip-relay]]** — 通过可逆编辑链串联，免参考答案评估文档编辑保真度的方法论
|
||
3. **[[document-degradation]]** — LLM 在长委托工作流中静默破坏文档内容的核心现象
|
||
4. **[[critical-failures]]** — 稀疏但严重的错误解释了约 80% 的总退化，而非渐进小错误累积
|
||
5. **[[semantic-equivalence]]** — 通过领域特定解析器实现跨格式的文档等价性评判
|
||
6. **[[jagged-frontier]]** — 模型能力在领域间极度不均衡：Python 近乎完美，其他 51 领域远未 ready
|
||
|
||
# 🔗 概念网络
|
||
|
||
**核心连接**：
|
||
```
|
||
delegate-52 ← backtranslation-round-trip-relay ← semantic-equivalence
|
||
↓ ↓
|
||
document-degradation → critical-failures
|
||
↓
|
||
long-horizon-evaluation → jagged-frontier
|
||
```
|
||
|
||
**扩展网络**：连接了 11 个新概念页，关联到已有的 [[ai-safety]]、[[agentic-systems]] 等概念（通过 [[delegated-work]] 和 [[distractor-context]]）
|
||
|
||
**密度**：论文主页面 11 个出链，核心概念（delegate-52）8 个链接
|
||
|
||
# 📚 Wiki 集成
|
||
|
||
- **新增页面**: 13 个（1 论文 + 11 概念 + 1 review）
|
||
- **链接完整性**: 0 断链（100%）
|
||
- **Wiki 总规模**: 278 → 293 页
|
||
|
||
# 💡 关键洞察
|
||
|
||
## 1. "千刀万剐" 是错的——是少数致命刀伤
|
||
|
||
论文最反直觉的发现：文档退化不是均匀累积的小错误（"death by a thousand cuts"），而是少数几次灾难性失败。~80% 的总损坏来自若干次关键错误（单次丢失 10-30+ 分）。这意味着用户无法通过"抽查几处"来信任委托结果——错误稀疏但严重。
|
||
|
||
## 2. 工具使用反而有害
|
||
|
||
Agentic harness（文件读写 + code execution）没有改善表现，反而让 4 个模型额外退化 6%。原因：工具调用带来 2-5x 输入 token 开销，而 DELEGATE-52 的任务不适宜纯代码解决。更好的模型（GPT 5.4）倾向于 code execution（45%），弱模型倾向于文件重写（90%）——这提示了正确的工具使用策略。
|
||
|
||
## 3. 复合效应被严重低估
|
||
|
||
文档大小、交互长度、干扰文档的负效应是**乘性叠加**的。短交互（2 次）中几乎不可见，但到 20 次交互时放大 5 倍。当前大多数评估基准只测试单轮或短交互——系统性低估了长期委托的风险。
|
||
|
||
对 sz 而言：这篇论文和你的 CAT/IRT 兴趣有种有趣的平行——都在研究"在有限信息下的测量精度"，只是 DELEGATE-52 测量的是"模型的破坏程度"而非"学生的能力水平"。
|