41 lines
1.4 KiB
Markdown
41 lines
1.4 KiB
Markdown
---
|
||
title: "人类隐式奖励信号（Human Implicit Reward Signals）"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [user-feedback, reward-signal, annotation, coding-agent]
|
||
sources:
|
||
- "[[verification-horizon-no-silver-bullet]]"
|
||
---
|
||
|
||
# 人类隐式奖励信号（HIRS）
|
||
|
||
从用户-Agent 交互轨迹中提取的隐式评估信号——用户通常不提供显式数值奖励，而是通过自然语言和行为模式间接表达验证判断。
|
||
|
||
## 信号特征
|
||
|
||
基于 Qwen Team 标注的 125,528 条轨迹、535,737 轮级别标注：
|
||
|
||
| 特征 | 数据 |
|
||
|------|------|
|
||
| Polarity 分布 | Neutral 76.6% / Negative 20.0% / Positive 3.5% |
|
||
| 负信号置信度 | 81.8% high-confidence（vs neutral 仅 18.7%） |
|
||
| 主要错误类型 | Execution Error 56.6% + Misunderstand 21.1% = 77.7% |
|
||
|
||
## 标注 Pipeline
|
||
|
||
LLM-as-Judge（Qwen-Plus），三个原则：
|
||
1. **双视角评估**：同时记录 polarity + user_fairness（两者允许不一致）
|
||
2. **证据驱动**：每个标注必须引用用户原文作为证据
|
||
3. **保守标注**：模糊信号倾向 neutral
|
||
|
||
## 与验证器的关系
|
||
|
||
用户是最忠实的验证器：信号直接来自意图持有者，天然 faithful + 相对 robust。挑战在于 scalability——需大规模用户基数才能产生足够训练数据。
|
||
|
||
## 参考
|
||
|
||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||
- [[span-kto|Span-KTO]]
|
||
- [[verification-trilemma|验证三难]]
|