61 lines
2.2 KiB
Markdown
61 lines
2.2 KiB
Markdown
---
|
||
title: "Harness Engineering"
|
||
created: 2026-05-29
|
||
updated: 2026-05-29
|
||
type: concept
|
||
tags: ["agent", "engineering", "constraint", "LLM"]
|
||
sources: ["https://mp.weixin.qq.com/s/PglkqhlSoI7LEOb3AOHl8g"]
|
||
---
|
||
|
||
# Harness Engineering
|
||
|
||
**Harness Engineering** 是随着 [[autoharness|AutoHarness]] 等工作而兴起的一门新兴工程实践学科：系统性地为 LLM Agent 构建约束层（harness），使其在结构化环境中产生可靠、合法的行为。
|
||
|
||
## 学科定位
|
||
|
||
传统 AI 工程关注 Model 的训练与部署。Harness Engineering 关注的则是 Model **外部**的结构：
|
||
- 合法性验证回路
|
||
- 反馈收集与聚合
|
||
- 代码自合成与迭代
|
||
- 约束的搜索与优化
|
||
|
||
## 核心实践
|
||
|
||
1. **约束即代码**：Harness 以可执行代码形式表达（可验证、可迭代）
|
||
2. **搜索驱动合成**：通过 [[thompson-sampling-code-search|Thompson 采样]] 在 harness 空间中搜索
|
||
3. **Refiner-Critic 环**：LLM 生成改进 → 环境反馈 → 迭代优化
|
||
4. **层级递进**：从 Verifier（轻约束）→ Filter → Policy（强约束）
|
||
|
||
## 与 Model Engineering 的分工
|
||
|
||
| 维度 | Model Engineering | Harness Engineering |
|
||
|------|-------------------|---------------------|
|
||
| 优化对象 | 神经网络参数 | 可执行代码 |
|
||
| 反馈来源 | 梯度信号 | 环境交互 |
|
||
| 可解释性 | 低 | 高（可读代码） |
|
||
| 部署成本 | 高昂 | 零（纯代码） |
|
||
|
||
## 未来方向
|
||
|
||
- 可复用 Harness 组件库
|
||
- 跨游戏的约束知识迁移
|
||
- 从"代码约束"扩展到"行为准则约束"
|
||
- 与 [[heuristic-learning|Heuristic Learning]] 融合
|
||
|
||
## 生产级原则
|
||
|
||
八条非妥协原则（Tort Mario, 2026）：详见 [[model-proposes-harness-executes|Model Proposes, Harness Executes]]。
|
||
|
||
## 四阶段定位
|
||
|
||
Harness Engineering 是 [[prompt-to-harness-evolution|四阶段演进]] 的第三层，被 [[loop-engineering|Loop Engineering]] 所包含：**Prompt ⊂ Context ⊂ Harness ⊂ Loop**。
|
||
|
||
## 相关
|
||
|
||
- [[model-harness-relationship]] — Model-Harness 关系
|
||
- [[autoharness]] — 核心方法
|
||
- [[compiled-ai-paradigm]] — 编译型 AI
|
||
- [[model-proposes-harness-executes]] — 八条非妥协原则
|
||
- [[skill-issue-framework]] — Skill Issue 框架
|
||
- [[prompt-to-loop-engineering-2026]] — Datawhale 四阶段综述
|