91 lines
3.2 KiB
Markdown
91 lines
3.2 KiB
Markdown
---
|
||
title: "Thinking-Based Non-Thinking: Solving the Reward Hacking Problem in Training Hybrid Reasoning Models via Reinforcement Learning"
|
||
created: 2026-06-18
|
||
updated: 2026-06-18
|
||
type: paper
|
||
authors:
|
||
- Siyuan Gan (Nanjing University)
|
||
- Jiaheng Liu (Nanjing University)
|
||
- Boyan Wang (Nanjing University)
|
||
- Tianpei Yang (Nanjing University)
|
||
- Runqing Miao (Jiutian Research)
|
||
- Yuyao Zhang (Jiutian Research)
|
||
- Fanyu Meng (Jiutian Research)
|
||
- Junlan Feng (Jiutian Research)
|
||
- Linjian Meng (Shanghai AI Laboratory)
|
||
- Jing Huo (Nanjing University)
|
||
- Yang Gao (Nanjing University)
|
||
source: arXiv
|
||
source_id: 2601.04805
|
||
published: 2026-01-08
|
||
categories:
|
||
- cs.AI
|
||
---
|
||
|
||
# Thinking-Based Non-Thinking (TNT)
|
||
|
||
> Gan et al. (2026) — arXiv:2601.04805
|
||
|
||
## 核心问题
|
||
|
||
用 RL 训练[[hybrid-reasoning-models|混合推理模型]]（自动决定思考/非思考）时，模型会 **Reward Hacking**：在非思考格式中嵌入思考内容，获取不应得的更高奖励。现有方案或计算成本过高（大规模 SFT），或效果有限（统一 token 上限）。
|
||
|
||
## TNT 的核心思路
|
||
|
||
**以思考定非思考**：利用思考模式响应的 solution 部分长度，为**每个查询动态设定**非思考模式的 token 上限。
|
||
|
||
### 为什么这可行
|
||
|
||
[[large-reasoning-models|LRM]] 的思考模式训练确保 `</think>` 之后的 solution **不含额外思考**——与真正的非思考模式输出高度一致。因此 thinking solution 长度是 non-thinking 自然长度的可靠估计。
|
||
|
||
### 算法
|
||
|
||
```
|
||
对每个查询 x：
|
||
1. 采样 K 个响应（用省略号提示）
|
||
2. 从思考模式响应集 M_T^x 计算平均 solution 长度
|
||
3. L_N^x = ω × avg(h(y)) — 动态上限（ω=2）
|
||
4. 非思考响应超过 L_N^x → Reward Hacking → -2 惩罚
|
||
```
|
||
|
||
## 奖励函数设计
|
||
|
||
| 模式 | 正确 | 错误 |
|
||
|------|:--:|:--:|
|
||
| 思考模式 | +1 | 0 |
|
||
| 非思考 + 无 hacking | **+2** | -1 |
|
||
| 非思考 + Reward Hacking | **-2** | **-2** |
|
||
|
||
核心：**超过 token 上限一律 -2**——无论对错，强力抑制 hacking。
|
||
|
||
## 实验亮点
|
||
|
||
| 指标 | TNT vs Base |
|
||
|------|------------|
|
||
| Token 使用 | **↓ ~50%** |
|
||
| 准确率 | **↑ 4.1%** |
|
||
| Reward Hacking 率 | **< 10%** |
|
||
| 效率权衡 | **最优**（所有方法中） |
|
||
|
||
5 个数学基准测试：AIME24, AIME25, Minerva, AMC23, Olympiad。基础模型：DeepSeek-R1-Distill-Qwen-1.5B/7B, DeepScaleR-1.5B。
|
||
|
||
## 概念网络
|
||
|
||
```
|
||
overthinking → hybrid-reasoning-models → reward-hacking
|
||
↓ ↓ ↓
|
||
large-reasoning-models thinking-mode dynamic-token-limit
|
||
non-thinking-mode ↓
|
||
ellipsis-prompt thinking-based-non-thinking (TNT)
|
||
↓
|
||
token-level-policy-gradient → GRPO
|
||
```
|
||
|
||
## 兼容性
|
||
|
||
TNT 只关注 token 上限设定，与 RL 算法解耦：GRPO, PPO, DAPO, Dr.GRPO, GSPO 均可使用。也可与 CoT Compression、Batch-Level Reward Balancing、Length-Aware Reward 等技术组合。
|
||
|
||
## 来源
|
||
|
||
[arXiv:2601.04805](https://arxiv.org/abs/2601.04805) | [原始存档](raw/papers/gan-thinking-based-non-thinking-2026.md)
|