2.2 KiB
2.2 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Harness Engineering | 2026-05-29 | 2026-05-29 | concept |
|
|
Harness Engineering
Harness Engineering 是随着 autoharness 等工作而兴起的一门新兴工程实践学科：系统性地为 LLM Agent 构建约束层（harness），使其在结构化环境中产生可靠、合法的行为。
学科定位
传统 AI 工程关注 Model 的训练与部署。Harness Engineering 关注的则是 Model 外部的结构：
- 合法性验证回路
- 反馈收集与聚合
- 代码自合成与迭代
- 约束的搜索与优化
核心实践
- 约束即代码：Harness 以可执行代码形式表达（可验证、可迭代）
- 搜索驱动合成：通过 thompson-sampling-code-search 在 harness 空间中搜索
- Refiner-Critic 环：LLM 生成改进 → 环境反馈 → 迭代优化
- 层级递进：从 Verifier（轻约束）→ Filter → Policy（强约束）
与 Model Engineering 的分工
| 维度 | Model Engineering | Harness Engineering |
|---|---|---|
| 优化对象 | 神经网络参数 | 可执行代码 |
| 反馈来源 | 梯度信号 | 环境交互 |
| 可解释性 | 低 | 高（可读代码） |
| 部署成本 | 高昂 | 零（纯代码） |
未来方向
- 可复用 Harness 组件库
- 跨游戏的约束知识迁移
- 从"代码约束"扩展到"行为准则约束"
- 与 heuristic-learning 融合
生产级原则
八条非妥协原则（Tort Mario, 2026）：详见 model-proposes-harness-executes。
四阶段定位
Harness Engineering 是 prompt-to-harness-evolution 的第三层，被 loop-engineering 所包含：Prompt ⊂ Context ⊂ Harness ⊂ Loop。
相关
- model-harness-relationship — Model-Harness 关系
- autoharness — 核心方法
- compiled-ai-paradigm — 编译型 AI
- model-proposes-harness-executes — 八条非妥协原则
- skill-issue-framework — Skill Issue 框架
- prompt-to-loop-engineering-2026 — Datawhale 四阶段综述