---
title: "统一拒绝采样微调 (Unified RFT)"
domain: "Multimodal AI / Training"
tags: [rft, rejection-fine-tuning, visual-primitives, training]
sources: [[thinking-with-visual-primitives]]
---

# 统一拒绝采样微调 (Unified RFT)

> Unified Rejection Fine-Tuning：利用专家模型的 on-policy rollout 生成高质量训练数据，将框和点两种视觉原语推理范式统一到单个模型。

## 流程

1. 使用专家模型 [[visual-primitives]] 和 [[visual-primitives]] 在数据池上进行 rollout
2. 按 [[group-relative-policy-optimization|群体相对策略优化]] 的难度标准对样本分类
3. 数据筛选策略：
   - **Normal-Level**（部分正确）：**全部保留**
   - **Easy-Level**（全部正确）：**随机采样 5%**（防止灾难性遗忘）
   - **Hard-Level**（全部错误）：丢弃
4. 从 base pretrained model 初始化，用 RFT 数据集进行 SFT

## 与 Specialized SFT 的区别

| 维度 | Specialized SFT | Unified RFT |
|------|----------------|-------------|
| 训练目标 | 两个独立专家 | 统一模型 |
| 数据来源 | 人工标注 + 冷启动 | 专家模型 rollout |
| 数据质量 | 人工验证 | 模型自生成 + 筛选 |
| 规模 | 较小（冷启动） | 更大更广 |

## 相关概念

- [[specialized-sft|专项监督微调]] — 前置阶段
- [[specialized-rl|专项强化学习]] — 产生专家模型
- [[on-policy-distillation|在线策略蒸馏]] — 后续巩固阶段