50 lines
2.1 KiB
Markdown
50 lines
2.1 KiB
Markdown
---
|
||
title: "Tool-Efficient Path Reward"
|
||
created: 2026-05-31
|
||
type: concept
|
||
tags: [reinforcement-learning, reward-design, trajectory-optimization, tool-calling]
|
||
---
|
||
|
||
# Tool-Efficient Path Reward（工具高效路径奖励）
|
||
|
||
**Tool-Efficient Path Reward** 是 [[toolcua-optimal-gui-tool-orchestration|ToolCUA]] 在线 Agentic RL 阶段的核心奖励设计，由两部分组成：
|
||
|
||
$$R = R_{\text{fmt}} + R_{\text{acc}} + \lambda \cdot R_{\text{tool}} + \beta \cdot R_{\text{length}}$$
|
||
|
||
其中 $\lambda = 0.4, \beta = 0.2$。
|
||
|
||
## 两大组件
|
||
|
||
### $R_{\text{tool}}$：Tool Appropriateness Reward（工具适当性奖励）
|
||
|
||
$$R_{\text{tool}} = I_{\text{succ}} \cdot I[(t_b > 0 \land c > 0) \lor (t_b < 0 \land c = 0)]$$
|
||
|
||
- $t_b \in \{1, -1\}$：任务级"工具有益"标签（数据构建时标注）
|
||
- $c$：轨迹中工具调用累计次数
|
||
|
||
**设计哲学**：
|
||
- $t_b = 1, c > 0$：工具有益任务 + 实际调用了工具 → 奖励 ✓
|
||
- $t_b = -1, c = 0$：工具无益任务 + 未调用工具 → 奖励 ✓
|
||
- **将工具使用与任务成功解耦**——即使任务成功，不当工具使用也不获额外奖励
|
||
|
||
### $R_{\text{length}}$：Path Efficiency Reward（路径效率奖励）
|
||
|
||
$$R_{\text{length}} = I_{\text{succ}} \cdot \begin{cases} (1 + \frac{\bar{s} - s}{\bar{s}}) & s < \bar{s} \\ \exp(-\frac{s - \bar{s}}{S_{\max} - \bar{s}}) & s \geq \bar{s} \end{cases}$$
|
||
|
||
- $s$：当前轨迹步数
|
||
- $\bar{s}$：rollout 组平均步数
|
||
- $S_{\max}$：最大执行上限（30）
|
||
|
||
**设计哲学**：
|
||
- 短于组平均 → 线性奖励（步数越短奖励越高）
|
||
- 长于组平均 → 指数衰减（惩罚冗长路径）
|
||
- 因为有效工具调用通常替代多步 GUI 原子操作，这一信号自然激励更高效的工具切换
|
||
|
||
## 为什么需要这个奖励？
|
||
|
||
任务成功信号 $R_{\text{acc}}$ **无法区分**：
|
||
- 用 1 次工具调用完成 vs 用 15 步 GUI 绕路完成
|
||
- 任务不需要工具却调用了工具 vs 合理使用工具
|
||
|
||
$R_{\text{tool}} + R_{\text{length}}$ 提供**轨迹级反馈**，将优化目标从"完成任务"提升到"高效地完成任务"。
|