---
title: "经验蒸馏 (Experience Distillation)"
created: 2026-06-14
updated: 2026-06-14
type: concept
tags: [agent, experience-reuse, compression, gene]
sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md]
---

# 经验蒸馏 (Experience Distillation)

Wang et al. (2026) 中隐含的核心操作：将丰富的源经验（技能包、轨迹）压缩为紧凑的控制导向表示。

## 蒸馏映射

形式化：给定源经验 z（技能 s、轨迹集 H、或已验证的 Capsule C）：

```
g = psi(z),    g in G
```

其中 psi 提取紧凑的控制导向表示。蒸馏不是简单的截断或摘要——它是对经验的**重新抽象**。

## 为什么蒸馏必要

过程技能包含大量文档导向材料（overview, API notes, examples, scripts），其中仅约 10-15% 提供有意义的控制价值。其余部分在推理时构成**信息过载**。

经验蒸馏的目标：
- 提高**信号密度**（每 token 的控制相关性）
- 明确**适用范围边界**（何时适用、何时不适用）
- 增强**失败显著性**（明确标注 AVOID 项）

## 关键证据

1. **Skill-Workflow (+1.5pp)** 是技能包中唯一明确有用的部分——这恰好是最接近 Gene 策略层的内容
2. **Skill-Overview (-4.7pp)** 是纯文档材料，强烈有害
3. **匹配预算 Skill 片段**改善但仍低于 Gene——蒸馏不只是压缩
4. **失败警告仅 (54.4%, +4.6pp)** 超过所有混合条件——蒸馏应选择性而非加性

## 实践启示

- 蒸馏应从**过程性内容**（workflow/strategy）而非描述性内容开始
- **AVOID 项**（失败感知线索）是信号密度最高的信息
- 朴素追加更多历史**不会**改善控制——选择性压缩才有
- 蒸馏应保持**结构化可编辑性**，而非展平为散文

## 参考

- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 蒸馏的实证基础
- [[strategy-gene|策略基因]] — 蒸馏的目标产物
- [[gene-evolution-protocol|GEP]] — 蒸馏的协议化框架
- [[procedural-skill|过程技能]] — 蒸馏的源材料