---
title: "Heuristic Learning (启发式学习)"
created: 2026-05-29
updated: 2026-05-29
type: concept
tags: ["learning-paradigm", "code-evolution", "agent", "optimization"]
sources: ["https://mp.weixin.qq.com/s/PglkqhlSoI7LEOb3AOHl8g"]
---

# Heuristic Learning (启发式学习)

**Heuristic Learning (HL)** 是由 OpenAI 翁家翌提出的一种新学习范式：**替代传统梯度下降优化模型参数的学习模式**，将优化主体从 Model 参数扩展到 Agent 整体（Model + Harness 代码）。

## 核心循环

```
Agent 运行 → 产生反馈 → 分析并修改代码 → 再次运行
```

与传统梯度下降的对比：

| 维度 | 梯度下降 (GD) | 启发式学习 (HL) |
|------|:---:|:---:|
| 优化对象 | 神经网络参数 θ | Agent 整体代码 |
| 反馈信号 | ∂L/∂θ | 环境交互 + 结构化反馈 |
| 优化器 | Adam/AdamW | LLM (作为 gradient-free optimizer) |
| 可解释性 | 无（矩阵乘法） | 高（可读代码） |

## 三大优势

### 1. 缓解灾难性遗忘
旧能力被封装在回归测试中，新代码必须通过旧测试才能部署——从工程上规避了参数被覆盖。

### 2. 可解释性 AI
决策逻辑是一行行可读的代码，而非矩阵权重。为 AI 决策提供完整审计追踪。

### 3. 样本效率
借助 LLM 的先验知识和代码理解能力，迭代更快。Atari 57 中位表现已与 PPO 持平，且环境交互步数更少。

## 与 AutoHarness 的关系

两者理念如出一辙，但定位不同：
- **AutoHarness**：聚焦特定任务（游戏）的约束代码合成
- **Heuristic Learning**：定位为**通用学习范式**，替代梯度下降

## 核心意义

HL 将 [[harness-engineering|Harness Engineering]] 提升到了学习范式的高度：**经验或知识不仅可以被"训练"到参数里，还可以被"编程"为可维护、可进化的软件系统。**

## 相关

- [[autoharness]] — DeepMind 的实践先例
- [[harness-engineering]] — 支撑 HL 的工程学科
- [[model-harness-relationship]] — HL 隐含的架构哲学