48 lines
1.9 KiB
Markdown
48 lines
1.9 KiB
Markdown
---
|
||
title: "Tool-Bootstrapped GUI RFT"
|
||
created: 2026-05-31
|
||
type: concept
|
||
tags: [reinforcement-learning, grpo, gui-tool, sft]
|
||
---
|
||
|
||
# Tool-Bootstrapped GUI RFT（工具引导的 GUI 强化微调）
|
||
|
||
**Tool-Bootstrapped GUI RFT（Reinforcement Fine-Tuning）** 是 [[toolcua-optimal-gui-tool-orchestration|ToolCUA]] 训练范式的第二阶段，用于在 [[interleaved-gui-tool-trajectory-scaling|合成交错数据]] 上建立混合动作基础并校准关键决策点。
|
||
|
||
## 两个子阶段
|
||
|
||
### 1. Warmup SFT（预热监督微调）
|
||
|
||
在 $\mathcal{D}_{\text{all}}$ 上使用标准交叉熵损失训练：
|
||
|
||
$$\mathcal{L}_{\text{SFT}} = -\sum \log \pi_\theta(a_t | s_t)$$
|
||
|
||
**目标**：教会模型 CUA 领域中的多模态工具调用知识：
|
||
- 工具使用方法
|
||
- 工具参数推理
|
||
- 工具执行后的状态理解
|
||
- 获得 $\mathcal{M}_{\text{sft}}$
|
||
|
||
### 2. Single-Turn RL on Critical Steps
|
||
|
||
在 $\mathcal{D}_{\text{critical}}$（关键切换点）上使用 [[grpo|GRPO]] 进行单轮 RL。
|
||
|
||
**关键设计**：
|
||
- 仅在显式的 GUI↔Tool 切换边界进行优化
|
||
- 模型采样多个 completion，接收直接反馈：继续 GUI 还是切换到工具？
|
||
- **目标校准**：优化模型在决策边界的判断力
|
||
|
||
**为什么是 Single-Turn？**
|
||
- 这些关键切换点是**独立决策**——不需要完整轨迹回放
|
||
- 聚焦于"这一刻该切换吗"这一个核心问题
|
||
- 相比 full trajectory RL，更高效且避免稀疏奖励问题
|
||
|
||
## 两阶段的关系
|
||
|
||
| 阶段 | 数据 | 目标 | 产出 |
|
||
|------|------|------|------|
|
||
| Warmup SFT | $\mathcal{D}_{\text{all}}$ | 基础混合动作能力 | $\mathcal{M}_{\text{sft}}$ |
|
||
| Single-Turn RL | $\mathcal{D}_{\text{critical}}$ | 切换点决策校准 | $\mathcal{M}_{\text{rft}}$ |
|
||
|
||
$\mathcal{M}_{\text{rft}}$ 是**协调的 agent**，为下一阶段 [[tool-efficient-path-reward|在线 Agentic RL]] 中的长周期探索做好准备。
|