46 lines
1.2 KiB
Markdown
46 lines
1.2 KiB
Markdown
---
|
||
title: "Hard Token"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [tokenization, generation]
|
||
sources: [raw/papers/zhang-tarpo-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# Hard Token
|
||
|
||
Hard token 是标准自回归语言模型中**离散 token 生成**的基本单元——从词表中采样单个 token 并输出其 embedding。
|
||
|
||
## 定义
|
||
|
||
给定 logits 分布 `π_θ(·|s_t)`，hard token 选自词表 V：
|
||
|
||
```
|
||
v_t ~ π_θ(·|s_t)， u_hard = E(v_t)
|
||
```
|
||
|
||
这是所有标准 LLM 推理的基本操作。
|
||
|
||
## 特性
|
||
|
||
- **离散性**：天然具有采样随机性，支持 RL 中的策略探索
|
||
- **信息瓶颈**：高维隐藏状态被坍缩为单个 token，损失信息容量
|
||
- **人类可读**：可被直接解释和检查
|
||
- **序列化**：每个推理步骤产生一个可读 token
|
||
|
||
## 与 Soft Token 的关系
|
||
|
||
Hard token 和 [[soft-token]] 代表了推理中表达力与随机性之间的 trade-off：
|
||
- Hard token：随机性好，但信息容量有限
|
||
- Soft token：表达力强，但天然确定性
|
||
|
||
[[tarpo|TARPO]] 的创新在于**让模型自己学习何时使用哪种模式**。
|
||
|
||
## 参考
|
||
|
||
- [[soft-token]]
|
||
- [[chain-of-thought|思维链]]
|
||
- [[tarpo|TARPO]]
|
||
- [[latent-reasoning|潜在推理]]
|