48 lines
1.4 KiB
Markdown
48 lines
1.4 KiB
Markdown
---
|
||
title: "HRPO: Hybrid Reasoning Policy Optimization"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [reasoning, architecture, latent-reasoning, reinforcement-learning]
|
||
sources: [raw/papers/zhang-tarpo-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# HRPO: Hybrid Reasoning Policy Optimization
|
||
|
||
HRPO（Yue et al., 2026）是**密集融合型混合推理**的代表性 RL 方法，在 [[tarpo|TARPO]] 论文中是核心对比基线。
|
||
|
||
## 核心机制
|
||
|
||
HRPO 在**每一个解码步骤**中构造离散 token 和连续表征的融合表示：
|
||
|
||
```
|
||
u_fused = g * E(v_t) + (1-g) * h_t
|
||
```
|
||
|
||
其中：
|
||
- `g` 是可学习的门控参数
|
||
- `E(v_t)` 是离散 token embedding
|
||
- `h_t` 是隐藏状态表征
|
||
|
||
## 与 TARPO 的区别
|
||
|
||
| 维度 | HRPO | [[tarpo|TARPO]] |
|
||
|------|------|------|
|
||
| 融合方式 | 密集融合（每步都混合） | 二值切换（hard 或 soft） |
|
||
| 路由器 | 可学习门控 | 轻量级动作头 |
|
||
| 决策粒度 | 连续权重 | 离散二值 |
|
||
| 训练动态 | 后期易出现熵飙升 | 训练稳定 |
|
||
| 随机性来源 | 离散 token 采样 | 路由决策采样 |
|
||
|
||
## 训练动态问题
|
||
|
||
TARPO 论文发现 HRPO 在后期训练阶段会出现**熵飙升**现象（token entropy 异常上升），可能源于门控机制的连续权重导致的不稳定优化。TARPO 的离散二值路由更好地保持了训练稳定性。
|
||
|
||
## 参考
|
||
|
||
- [[hybrid-reasoning|混合推理]]
|
||
- [[tarpo|TARPO]]
|
||
- [[latent-reasoning|潜在推理]]
|
||
- [[soft-token]]
|