49 lines
1.7 KiB
Markdown
49 lines
1.7 KiB
Markdown
---
|
||
title: "Span-KTO"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [preference-learning, kto, user-feedback, training, alignment]
|
||
sources:
|
||
- "[[verification-horizon-no-silver-bullet]]"
|
||
---
|
||
|
||
# Span-KTO
|
||
|
||
**Span 级 KTO**（Kahneman-Tversky Optimization），将 KTO 偏好学习从 response 级别扩展到 span 级别，每个 span 对应一个完整用户请求的 agent 回复。
|
||
|
||
## 与标准 KTO 的关系
|
||
|
||
- **KTO**（Ethayarajh et al., 2024）：将前景理论引入 LLM 对齐，用 policy-reference log-likelihood ratio 作为隐式奖励，无需成对偏好数据
|
||
- **Step-level KTO**：扩展到步骤级，捕获更细粒度反馈
|
||
- **Span-KTO**：将奖励判断单元定义为 **人类标注 polarity 划分的连续 span**
|
||
|
||
## 核心公式
|
||
|
||
### Span 隐式奖励
|
||
|
||
$$r_\theta(x, S_k) = \sum_{t=s_k}^{e_k} [\log \pi_\theta(y_t|x, y_{<t}) - \log \pi_{ref}(y_t|x, y_{<t})]$$
|
||
|
||
### Reference Point（EMA 估计）
|
||
|
||
$$z_{ref} \leftarrow \alpha \cdot z_{ref} + (1-\alpha) \cdot \bar{r}_{batch}$$
|
||
|
||
### Span 级偏好损失
|
||
|
||
对 positive span：$-\lambda_w \cdot \sigma(\beta \cdot a_k)$，对 negative span：$-\lambda_l \cdot \sigma(-\beta \cdot a_k)$，其中 $a_k = r_\theta(x, S_k) - z_{ref}$
|
||
|
||
### Neutral Token 正则化
|
||
|
||
Neutral token 不参与偏好学习，但保留标准 CE loss 作为正则化。
|
||
|
||
## 实验效果
|
||
|
||
- 5 个 benchmark 上全面超越 SFT 和 RW-SFT
|
||
- Aone-bench：+13.3pp（SFT 14.8% → Span-KTO 28.1%）
|
||
- **关键发现**：不仅"解决更多问题"，更重要的是"失败时表现更合理"——Inefficiency 改善 +34.5%，Communication 改善 +26.5%
|
||
|
||
## 参考
|
||
|
||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||
- [[human-implicit-reward-signals|人类隐式奖励信号]]
|