---
title: "On-policy Learning Collapse"
created: 2026-05-18
type: concept
tags: ["reinforcement-learning", "LLM", "failure-mode"]
sources: ["https://arxiv.org/abs/2604.14142"]
---

# On-policy Learning Collapse

## 定义

在 PreRL 框架中发现的特定失败模式：当 [[positive-sample-reinforcement|PSR]] 在预训练空间中作用于 self-generated（on-policy）轨迹时，模型无法有效学习，最终导致性能崩溃。

## 表现

- PSR-PreRL 在前 150 步表现接近标准 RL
- 之后经历**显著的性能崩溃**（Figure 3a）
- 尽管 P(y|x) 的条件概率确实在上升（梯度协同效应），但学习质量恶化

## 原因分析

与 QFFT（使用 teacher model 的 out-of-distribution long-CoT 轨迹）的对比揭示了关键条件：

> 在预训练空间中最大化 P(y) **严格需要高质量、分布外的专家示范（expert demonstrations）**

Self-generated on-policy 样本在 P(y) 空间中质量不足以支撑持续学习——模型会累积自身生成的概率质量，最终陷入自反馈退化循环。

## 与 NSR 的对比

- PSR-PreRL → 退化
- [[negative-sample-reinforcement|NSR-PreRL]] → 极有效（剪枝而非积累）

## 相关概念

- [[positive-sample-reinforcement|PSR]]
- [[negative-sample-reinforcement|NSR]]
- [[pre-train-space-reinforcement-learning|PreRL]]