---
title: "Policy Reincarnation"
created: 2026-05-18
type: concept
tags: ["reinforcement-learning", "transfer-learning", "policy-optimization"]
sources: ["https://arxiv.org/abs/2604.14142", "https://proceedings.neurips.cc/paper_files/paper/2022/hash/ba1c5356d9164bb64c446a4b690226b0-Abstract-Conference.html"]
---

# Policy Reincarnation（策略转生）

## 定义

Policy Reincarnation 是一种训练策略：在训练中途**替换基座模型为中间检查点**，然后重新启动 on-policy RL。核心思想是利用之前的计算（prior computation）来加速后续训练。

## 在 DSRL 中的应用

[[dual-space-rl|DSRL]] 采用 Policy Reincarnation 将 [[pre-train-space-reinforcement-learning|PreRL]] 和标准 RL 串联：

1. 用 NSR-PreRL 训练 10-25 步 → 获得 checkpoint
2. 将该 checkpoint 作为新的"基座模型"
3. 切换到标准 GRPO 在 Post-train Space 继续训练

## 为何有效

- NSR-PreRL checkpoint 已经**消除了根本性错误模式**
- 分布 P(y) 已被剪枝，为 P(y|x) 的细粒度优化提供了更好的起点
- 后续 RL 可以专注于问题特定的微妙差异，而非基本逻辑错误
- 验证：DSRL 的 "Fully Solved" 问题数在 NSR-PreRL 阶段就已大幅攀升

## 转生时机

消融实验显示 S ∈ [10, 25] 为最优转生窗口。过晚转生 → NSR 的"过度探索"效应阻碍后续微调。

## 相关概念

- [[dual-space-rl|DSRL]]
- [[pre-train-space-reinforcement-learning|PreRL]]
- [[negative-sample-reinforcement|NSR]]