20260601

concepts/computer-use-agents.md

@@ -0,0 +1,40 @@
+---
+title: "Computer Use Agents (CUAs)"
+created: 2026-05-31
+type: concept
+tags: [agents, gui, desktop-automation, tool-use]
+---
+
+# Computer Use Agents (CUAs)
+
+**Computer Use Agents (CUAs)** 是一类能够在桌面环境中通过感知屏幕截图、执行原子操作来完成复杂任务的 AI Agent。它们代表了 [[agent-computer-interface|Agent-Computer Interface]] 的核心应用范式。
+
+## 核心特征
+
+1. **多模态感知**：以桌面截图为输入，结合先前工具调用的返回结果
+2. **动作空间**：传统 CUA 主要依赖**原子 GUI 动作**（点击、滚动、输入等坐标级操作）
+3. **长期任务**：处理跨多个应用步骤的长周期工作流（如文件管理、文档编辑、数据整理）
+
+## 关键挑战
+
+### 纯 GUI 模式的问题
+- **级联错误**：长序列中的每一步都可能出错，错误累积
+- **脆弱性**：依赖像素级坐标，对环境变化敏感
+- **低效**：简单操作（如修改列值）可能需要数十步 click/type
+
+### [[gui-tool-hybrid-action-space|混合动作空间]]的困惑
+当同时暴露 GUI 动作和工具调用时，CUA 面临 **[[optimal-gui-tool-path-selection|最优路径选择]]** 困境：
+- **过度使用工具**：在不必要时调用工具，反而增加失误率（如 Claude-4.5-Sonnet 从 61.9% 降到 48.4%）
+- **工具使用不足**：几乎不调用工具，仍以纯 GUI 方式处理（如 EvoCUA-32B 平均 7.49 次工具调用却从 52.6% 降到 40.5%）
+
+## 解决方案方向
+
+- [[toolcua-optimal-gui-tool-orchestration|ToolCUA]]：通过合成数据 + 分阶段 RL 学习最优 GUI-Tool 切换
+- [[interleaved-gui-tool-trajectory-scaling]]：从纯 GUI 轨迹扩展到混合轨迹的数据管线
+- [[osworld-mcp]]：支持混合动作空间的标准评估基准
+
+## 与其他 Agent 概念的关系
+
+- [[agentic-systems]]：CUA 是 Agentic System 在桌面自动化领域的具体实例
+- [[agent-computer-interface]]：CUA 的交互接口
+- [[agent-observability]]：CUA 需要屏幕感知和工具反馈的可观测性