---
title: "Span-KTO"
created: 2026-07-02
updated: 2026-07-02
type: concept
tags: [preference-learning, kto, user-feedback, training, alignment]
sources:
  - "[[verification-horizon-no-silver-bullet]]"
---

# Span-KTO

**Span 级 KTO**（Kahneman-Tversky Optimization），将 KTO 偏好学习从 response 级别扩展到 span 级别，每个 span 对应一个完整用户请求的 agent 回复。

## 与标准 KTO 的关系

- **KTO**（Ethayarajh et al., 2024）：将前景理论引入 LLM 对齐，用 policy-reference log-likelihood ratio 作为隐式奖励，无需成对偏好数据
- **Step-level KTO**：扩展到步骤级，捕获更细粒度反馈
- **Span-KTO**：将奖励判断单元定义为 **人类标注 polarity 划分的连续 span**

## 核心公式

### Span 隐式奖励

$$r_\theta(x, S_k) = \sum_{t=s_k}^{e_k} [\log \pi_\theta(y_t|x, y_{<t}) - \log \pi_{ref}(y_t|x, y_{<t})]$$

### Reference Point（EMA 估计）

$$z_{ref} \leftarrow \alpha \cdot z_{ref} + (1-\alpha) \cdot \bar{r}_{batch}$$

### Span 级偏好损失

对 positive span：$-\lambda_w \cdot \sigma(\beta \cdot a_k)$，对 negative span：$-\lambda_l \cdot \sigma(-\beta \cdot a_k)$，其中 $a_k = r_\theta(x, S_k) - z_{ref}$

### Neutral Token 正则化

Neutral token 不参与偏好学习，但保留标准 CE loss 作为正则化。

## 实验效果

- 5 个 benchmark 上全面超越 SFT 和 RW-SFT
- Aone-bench：+13.3pp（SFT 14.8% → Span-KTO 28.1%）
- **关键发现**：不仅"解决更多问题"，更重要的是"失败时表现更合理"——Inefficiency 改善 +34.5%，Communication 改善 +26.5%

## 参考

- [[verification-horizon-no-silver-bullet|论文原文]]
- [[human-implicit-reward-signals|人类隐式奖励信号]]