39 lines
1.5 KiB
Markdown
39 lines
1.5 KiB
Markdown
---
|
||
title: "Policy Reincarnation"
|
||
created: 2026-05-18
|
||
type: concept
|
||
tags: ["reinforcement-learning", "transfer-learning", "policy-optimization"]
|
||
sources: ["https://arxiv.org/abs/2604.14142", "https://proceedings.neurips.cc/paper_files/paper/2022/hash/ba1c5356d9164bb64c446a4b690226b0-Abstract-Conference.html"]
|
||
---
|
||
|
||
# Policy Reincarnation（策略转生）
|
||
|
||
## 定义
|
||
|
||
Policy Reincarnation 是一种训练策略：在训练中途**替换基座模型为中间检查点**，然后重新启动 on-policy RL。核心思想是利用之前的计算（prior computation）来加速后续训练。
|
||
|
||
## 在 DSRL 中的应用
|
||
|
||
[[dual-space-rl|DSRL]] 采用 Policy Reincarnation 将 [[pre-train-space-reinforcement-learning|PreRL]] 和标准 RL 串联：
|
||
|
||
1. 用 NSR-PreRL 训练 10-25 步 → 获得 checkpoint
|
||
2. 将该 checkpoint 作为新的"基座模型"
|
||
3. 切换到标准 GRPO 在 Post-train Space 继续训练
|
||
|
||
## 为何有效
|
||
|
||
- NSR-PreRL checkpoint 已经**消除了根本性错误模式**
|
||
- 分布 P(y) 已被剪枝，为 P(y|x) 的细粒度优化提供了更好的起点
|
||
- 后续 RL 可以专注于问题特定的微妙差异，而非基本逻辑错误
|
||
- 验证：DSRL 的 "Fully Solved" 问题数在 NSR-PreRL 阶段就已大幅攀升
|
||
|
||
## 转生时机
|
||
|
||
消融实验显示 S ∈ [10, 25] 为最优转生窗口。过晚转生 → NSR 的"过度探索"效应阻碍后续微调。
|
||
|
||
## 相关概念
|
||
|
||
- [[dual-space-rl|DSRL]]
|
||
- [[pre-train-space-reinforcement-learning|PreRL]]
|
||
- [[negative-sample-reinforcement|NSR]]
|