---
title: "专项强化学习 (Specialized RL)"
domain: "Reinforcement Learning / Multimodal AI"
tags: [rl, reinforcement-learning, visual-primitives, grpo]
sources: [[thinking-with-visual-primitives]]
---

# 专项强化学习 (Specialized RL)

> 在专项 SFT 之后，对框专家（FTwG）和点专家（FTwP）分别独立应用 GRPO 强化学习，配合多维度奖励模型提升推理质量。

## 训练流程

基于 [[group-relative-policy-optimization|群体相对策略优化]]，使用三类奖励模型（[[reward-model|奖励模型]]）提供并发监督：

| RM 类型 | 方法 | 评估维度 |
|---------|------|----------|
| **Format RM** | 规则 | 格式正确性、防重复框、无限循环 |
| **Quality RM** | LLM 评判 | 冗余、一致性、自我矛盾、奖励黑客 |
| **Accuracy RM** | 任务特定 | 见下方 |

### Accuracy RM 的任务特定设计

- **计数**：[[exponential-decay-reward|指数衰减奖励]] — 平滑的相对误差惩罚
- **空间推理/VQA**：LLM 评判思维内容和答案
- **迷宫**：因果探索进度 + 完整性 + 违规惩罚 + 答案正确性
- **路径**：[[bidirectional-trajectory-evaluation|双向轨迹评估]] + 端点精度 + 连续性惩罚

## 关键设计决策

在 RL 阶段**不显式监督思维过程中的视觉原语**——因为冷启动数据中的原语已被严格验证。这大幅扩展了可用 RL 数据的范围（仅需图像+问题+答案）。

## 数据筛选

用 SFT 模型 rollout → 按正确率分 Easy/Normal/Hard → **只选 Normal 级别**（有提升空间但非无解）进行 RL 训练。

## 相关概念

- [[specialized-sft|专项监督微调]] — 前置阶段
- [[group-relative-policy-optimization|群体相对策略优化]] — 使用的 RL 算法
- [[reward-model|奖励模型]] — reward 来源