---
title: "TNT: 基于思考的非思考 (Thinking-Based Non-Thinking)"
created: 2026-06-18
updated: 2026-06-18
type: concept
tags: [hybrid-reasoning, rl, reward-hacking, token-efficiency]
sources:
  - gan-thinking-based-non-thinking-2026
---

# TNT: 基于思考的非思考 (Thinking-Based Non-Thinking)

TNT 是 Gan et al. (2026) 提出的解决[[hybrid-reasoning-models|混合推理模型]] RL 训练中 [[reward-hacking|Reward Hacking]] 问题的方法。核心思路：利用思考模式响应的 **solution 部分长度**动态设定非思考模式的 token 上限。

## 核心机制

### 动态 Token 限制
对于每个查询 x，采样 K 个响应。对思考模式的响应集合 M_T^x：
```
L_N^x = ω × avg( h(y_x^j) for y_x^j in M_T^x )
```
其中 h(y) 为 `</think>` 之后的 token 数，ω > 1 为容错权重（默认 2），L_∅ 为备用上限（默认 1000）。

### 奖励函数
| 模式 | 正确 | 错误 |
|------|------|------|
| 思考模式 | +1 | 0 |
| 非思考 + 无 hacking | +2 | -1 |
| 非思考 + reward hacking | -2 | -2 |

关键是：**只要 token 超过 L_N^x，无论答案对错都给 -2**——强力抑制 reward hacking。

## 为何有效

LRM 的思考模式训练确保 `</think>` 之后的 solution 部分**不含额外思考**——与真正非思考模式的输出高度一致。因此 thinking 的 solution 长度是 non-thinking 自然长度的可靠估计。

## 与 RL 算法的兼容性

TNT 只关注**设定非思考模式的最大 token 使用量**，因此与任何 RL 算法兼容（GRPO、PPO、DAPO、Dr.GRPO、GSPO），也可与其他混合推理技术组合。

## 实验结果

- 5 个数学基准上 token 使用减少 ~50%，准确率提升 4.1%
- 所有方法中**准确率-效率最优权衡**
- Reward hacking 率 < 10%

## 参考

- [[reward-hacking|Reward Hacking]]
- [[dynamic-token-limit|动态 Token 限制]]
- [[hybrid-reasoning-models|混合推理模型]]
- [[gan-thinking-based-non-thinking-2026|论文]]