1.9 KiB
1.9 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 验证与治理 (Verification and Governance, V) | 2026-07-13 | 2026-07-13 | concept |
|
|
验证与治理 (V)
定义
脚手架六组件之一。验证与治理层在运行时检查、约束和修复执行。包含双重角色：
- 验证（Verification）：测试、断言、verifier models、judge signals——估计执行是否按正确方向推进
- 治理（Governance）：审批门控、沙盒化、预算控制、rollback、retry、升级、安全终止——决定脚手架被允许或要求对验证证据做什么
设计空间
- 验证信号强度：强 oracle（测试/linter/assertion）vs. 弱 oracle（human judge/LLM-as-judge）
- 治理模式：pre-action gate vs. post-action check vs. continuous monitoring
- 恢复机制：rollback、retry、escalation、safe termination
- 权限门控：human approval、budget control、side-effect containment
核心权衡
自主性 vs. 鲁棒性：
- 更宽松的约束允许更广泛的探索，但增加有害行动和不可恢复漂移的风险
- 更严格的治理提高安全性和可恢复性，但可能减慢执行或阻断有用行为
环境依赖性
| 环境 | 验证强度 | 治理重点 |
|---|---|---|
| 编码（SWE-bench） | 强（tests、linters、assertions） | sandbox + rollback |
| Web/Desktop（WebArena） | 弱（oracle 常不可用） | gate + escalation |
| 开放环境 | 极弱 | continuous monitoring + safe termination |
开放问题
设计选择性和成本感知的验证与治理机制——区分可恢复的局部错误与更深层的任务级崩溃，而不过度触发中断或回滚。