myWiki/concepts/human-implicit-reward-signals.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
人类隐式奖励信号（Human Implicit Reward Signals）	2026-07-02	2026-07-02	concept	user-feedback reward-signal annotation coding-agent	verification-horizon-no-silver-bullet

人类隐式奖励信号（HIRS）

从用户-Agent 交互轨迹中提取的隐式评估信号——用户通常不提供显式数值奖励，而是通过自然语言和行为模式间接表达验证判断。

信号特征

基于 Qwen Team 标注的 125,528 条轨迹、535,737 轮级别标注：

特征	数据
Polarity 分布	Neutral 76.6% / Negative 20.0% / Positive 3.5%
负信号置信度	81.8% high-confidence（vs neutral 仅 18.7%）
主要错误类型	Execution Error 56.6% + Misunderstand 21.1% = 77.7%

标注 Pipeline

LLM-as-Judge（Qwen-Plus），三个原则：

1. 双视角评估：同时记录 polarity + user_fairness（两者允许不一致）
2. 证据驱动：每个标注必须引用用户原文作为证据
3. 保守标注：模糊信号倾向 neutral

与验证器的关系

用户是最忠实的验证器：信号直接来自意图持有者，天然 faithful + 相对 robust。挑战在于 scalability——需大规模用户基数才能产生足够训练数据。

参考

• verification-horizon-no-silver-bullet
• span-kto
• verification-trilemma