38 lines
1.2 KiB
Markdown
38 lines
1.2 KiB
Markdown
---
|
||
title: "Post-train Space Reinforcement Learning"
|
||
created: 2026-05-18
|
||
type: concept
|
||
tags: ["reinforcement-learning", "LLM", "GRPO", "RLVR"]
|
||
sources: ["https://arxiv.org/abs/2604.14142"]
|
||
---
|
||
|
||
# Post-train Space Reinforcement Learning
|
||
|
||
## 定义
|
||
|
||
Post-train Space RL 是当前主流的 LLM 强化学习范式，优化**条件分布** P(y|x)。给定输入问题 x，策略 π_θ 生成推理轨迹 y，通过可验证奖励（RLVR）进行优化。
|
||
|
||
## 标准目标函数
|
||
|
||
```
|
||
J_RL(π_θ) = E_{x~X} E_{y~π_θ(·|x)} [R(y) - β·D_KL(π_θ||π_ref)]
|
||
```
|
||
|
||
梯度（β=0 时）：
|
||
```
|
||
∇J = E_{x,y} [∑_{t=1}^{|y|} ∇log π_θ(y_t|x, y_{<t}) · R(y)]
|
||
```
|
||
|
||
## 内在局限
|
||
|
||
[[pre-train-space-reinforcement-learning|PreRL]] 论文指出的核心问题：
|
||
- Post-train space RL 被基座模型的已有输出分布所**根本性约束**（Yue et al., 2025）
|
||
- RLVR 仅仅是"锐化"已有分布，而非扩展推理能力的上限
|
||
- 条件约束限制了探索空间
|
||
|
||
## 相关概念
|
||
|
||
- [[pre-train-space-reinforcement-learning|PreRL]] — 在 P(y) 空间优化的替代方案
|
||
- [[dual-space-rl|DSRL]] — 结合 PreRL 和 Post-train RL
|
||
- [[gradient-alignment|梯度对齐]] — 证明 PreRL 可作为 Post-train RL 的有效代理
|