Files
myWiki/concepts/capability-control-tradeoff.md
2026-06-01 10:46:01 +08:00

1.3 KiB
Raw Blame History

title, created, updated, type, tags, sources, confidence
title created updated type tags sources confidence
Capability-Control Tradeoff能力-控制权衡) 2026-05-23 2026-05-23 concept
agent
tradeoff
security
capability
control
raw/papers/agent-harness-engineering-survey-2026.md
high

Capability-Control Tradeoff

更强的 Harness 给 Agent 更多权力,但每次能力扩展都增大控制问题。这不是安全附加组件,而是连接工具 Schema、上下文策略、运行时权限、身份、审计和人机审批的设计轴。

权衡的具象化

能力扩展 控制成本
更大的工具菜单 选择错误增加、prompt injection 表面扩大
持久记忆 来源追踪provenance、陈旧性、隐私风险
宽松沙箱 自主执行有用但爆炸半径扩大
自主权限 需要更细粒度的身份、审计和恢复机制

设计含义

  • 不是"先建功能再加固"的附加模型
  • 工具 Schema、上下文策略、运行时权限、身份、审计、人工审批从设计之初就应统一考虑
  • 每增加一项能力都需要同步增强控制边界

相关概念