1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources |
|---|---|---|---|---|---|
| 模型崩溃步 (Model Collapse Step, MCS) | 2025-04-15 | 2026-05-01 | concept |
模型崩溃步 (Model Collapse Step, MCS)
衡量模型在内在 URLVR 下能维持多久才崩溃的实用指标，由 He et al. (ICLR 2026) 提出，作为模型先验的低成本度量。
定义
\text{MCS} = \arg\min_{t} \{ \text{Reward Accuracy}(t) < 1\% \}
模型在内在 URLVR 训练中，从开始到奖励准确率跌破 1% 的训练步数。MCS 越大 → 模型先验越强 → 更适合作为标准 RL 的基模型。
为什么需要 MCS？
| 方法 | 问题 |
|---|---|
| 跑完整 RL 训练 | 成本极高 |
| pass@k | 准确率低，多选问题中 k 足够大时 → 1 |
| MCS | 无需 GT 标签，比 pass@k 更准，对多选问题鲁棒 |
实验发现
- Qwen 家族: SFT 变体在整个训练中维持高奖励准确率，MCS 极大
- LLaMA 家族: 基模型约 40 步崩溃，SFT 变体约 200 步
- MCS 与标准 RL 的 GT 增益 高度相关（优于 pass@k）
实际应用
- 基模型选择: 不跑标准 RL，跑一小段内在 URLVR 看 MCS
- RL 可行性预测: MCS 低的模型不适合标准 RLVR
- 模型先验度量: 量化"模型内在知识"的强度
相关概念
- intrinsic-rewards-sharpening — Sharpening 是 MCS 的底层机制
- unsupervised-rlvr — URLVR 上下文
- he-urlvr-sharpening-2026 — 综述参考