43 lines
1.5 KiB
Markdown
43 lines
1.5 KiB
Markdown
---
|
||
title: "Controlled Autonomy (受控的自主性)"
|
||
created: 2026-05-29
|
||
updated: 2026-05-29
|
||
type: concept
|
||
tags: ["self-evolution", "agent", "control", "safety"]
|
||
sources: ["https://mp.weixin.qq.com/s/s__fdyXQG932SavQeeugcw"]
|
||
---
|
||
|
||
# Controlled Autonomy (受控的自主性)
|
||
|
||
**Controlled Autonomy** 是吕明在 SkillOpt 深度解读中提出的自进化 Agent 核心设计原则：**人类设定目标（验证集）和边界（编辑约束），Agent 在框架内自主寻找最优策略。**
|
||
|
||
## 定义
|
||
|
||
> "一种'受控的自主性'——人类设定目标（验证集）和边界（编辑约束），Agent 在框架内自主寻找最优策略。"
|
||
|
||
这与"完全自主"（AGI）和"完全人工"（手写 Skill）形成明确区分。
|
||
|
||
## 三元结构
|
||
|
||
| 角色 | 负责 | 类比 |
|
||
|------|------|------|
|
||
| **人类** | 设定验证集 + 编辑约束 | 立法者 |
|
||
| **Optimizer** | 因果分析 + 提出编辑 | 执行者 |
|
||
| **Validation Gate** | 验证接受/拒绝 | 司法者 |
|
||
|
||
## 为什么需要"受控"
|
||
|
||
- **无需证明安全**：验证集天然保证了编辑的安全性（只接受改善）
|
||
- **可审计**：每次编辑都有 Diff + 验证分数变化
|
||
- **可回滚**：拒绝缓冲防止重复失败方向
|
||
|
||
## 与 AGI 的关系
|
||
|
||
> "这不是 AGI，甚至离 AGI 还有很远。但它是通往'更具自主性的 AI 系统'的一步扎实的脚印。"
|
||
|
||
## 相关
|
||
|
||
- [[skillopt]] — 受控自主性的技术实现
|
||
- [[held-out-validation-gate]] — 验证门（受控的"司法者"）
|
||
- [[textual-learning-rate]] — 编辑约束（受控的"边界"）
|