---
title: "人类隐式奖励信号（Human Implicit Reward Signals）"
created: 2026-07-02
updated: 2026-07-02
type: concept
tags: [user-feedback, reward-signal, annotation, coding-agent]
sources:
  - "[[verification-horizon-no-silver-bullet]]"
---

# 人类隐式奖励信号（HIRS）

从用户-Agent 交互轨迹中提取的隐式评估信号——用户通常不提供显式数值奖励，而是通过自然语言和行为模式间接表达验证判断。

## 信号特征

基于 Qwen Team 标注的 125,528 条轨迹、535,737 轮级别标注：

| 特征 | 数据 |
|------|------|
| Polarity 分布 | Neutral 76.6% / Negative 20.0% / Positive 3.5% |
| 负信号置信度 | 81.8% high-confidence（vs neutral 仅 18.7%） |
| 主要错误类型 | Execution Error 56.6% + Misunderstand 21.1% = 77.7% |

## 标注 Pipeline

LLM-as-Judge（Qwen-Plus），三个原则：
1. **双视角评估**：同时记录 polarity + user_fairness（两者允许不一致）
2. **证据驱动**：每个标注必须引用用户原文作为证据
3. **保守标注**：模糊信号倾向 neutral

## 与验证器的关系

用户是最忠实的验证器：信号直接来自意图持有者，天然 faithful + 相对 robust。挑战在于 scalability——需大规模用户基数才能产生足够训练数据。

## 参考

- [[verification-horizon-no-silver-bullet|论文原文]]
- [[span-kto|Span-KTO]]
- [[verification-trilemma|验证三难]]