53 lines
2.0 KiB
Markdown
53 lines
2.0 KiB
Markdown
---
|
||
title: "经验蒸馏 (Experience Distillation)"
|
||
created: 2026-06-14
|
||
updated: 2026-06-14
|
||
type: concept
|
||
tags: [agent, experience-reuse, compression, gene]
|
||
sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md]
|
||
---
|
||
|
||
# 经验蒸馏 (Experience Distillation)
|
||
|
||
Wang et al. (2026) 中隐含的核心操作：将丰富的源经验（技能包、轨迹）压缩为紧凑的控制导向表示。
|
||
|
||
## 蒸馏映射
|
||
|
||
形式化：给定源经验 z（技能 s、轨迹集 H、或已验证的 Capsule C）：
|
||
|
||
```
|
||
g = psi(z), g in G
|
||
```
|
||
|
||
其中 psi 提取紧凑的控制导向表示。蒸馏不是简单的截断或摘要——它是对经验的**重新抽象**。
|
||
|
||
## 为什么蒸馏必要
|
||
|
||
过程技能包含大量文档导向材料（overview, API notes, examples, scripts），其中仅约 10-15% 提供有意义的控制价值。其余部分在推理时构成**信息过载**。
|
||
|
||
经验蒸馏的目标：
|
||
- 提高**信号密度**（每 token 的控制相关性）
|
||
- 明确**适用范围边界**（何时适用、何时不适用）
|
||
- 增强**失败显著性**（明确标注 AVOID 项）
|
||
|
||
## 关键证据
|
||
|
||
1. **Skill-Workflow (+1.5pp)** 是技能包中唯一明确有用的部分——这恰好是最接近 Gene 策略层的内容
|
||
2. **Skill-Overview (-4.7pp)** 是纯文档材料，强烈有害
|
||
3. **匹配预算 Skill 片段**改善但仍低于 Gene——蒸馏不只是压缩
|
||
4. **失败警告仅 (54.4%, +4.6pp)** 超过所有混合条件——蒸馏应选择性而非加性
|
||
|
||
## 实践启示
|
||
|
||
- 蒸馏应从**过程性内容**（workflow/strategy）而非描述性内容开始
|
||
- **AVOID 项**（失败感知线索）是信号密度最高的信息
|
||
- 朴素追加更多历史**不会**改善控制——选择性压缩才有
|
||
- 蒸馏应保持**结构化可编辑性**，而非展平为散文
|
||
|
||
## 参考
|
||
|
||
- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 蒸馏的实证基础
|
||
- [[strategy-gene|策略基因]] — 蒸馏的目标产物
|
||
- [[gene-evolution-protocol|GEP]] — 蒸馏的协议化框架
|
||
- [[procedural-skill|过程技能]] — 蒸馏的源材料
|