20260706:新增一些文章

concepts/human-implicit-reward-signals.md

@@ -0,0 +1,40 @@
+---
+title: "人类隐式奖励信号（Human Implicit Reward Signals）"
+created: 2026-07-02
+updated: 2026-07-02
+type: concept
+tags: [user-feedback, reward-signal, annotation, coding-agent]
+sources:
+  - "[[verification-horizon-no-silver-bullet]]"
+---
+
+# 人类隐式奖励信号（HIRS）
+
+从用户-Agent 交互轨迹中提取的隐式评估信号——用户通常不提供显式数值奖励，而是通过自然语言和行为模式间接表达验证判断。
+
+## 信号特征
+
+基于 Qwen Team 标注的 125,528 条轨迹、535,737 轮级别标注：
+
+| 特征 | 数据 |
+|------|------|
+| Polarity 分布 | Neutral 76.6% / Negative 20.0% / Positive 3.5% |
+| 负信号置信度 | 81.8% high-confidence（vs neutral 仅 18.7%） |
+| 主要错误类型 | Execution Error 56.6% + Misunderstand 21.1% = 77.7% |
+
+## 标注 Pipeline
+
+LLM-as-Judge（Qwen-Plus），三个原则：
+1. **双视角评估**：同时记录 polarity + user_fairness（两者允许不一致）
+2. **证据驱动**：每个标注必须引用用户原文作为证据
+3. **保守标注**：模糊信号倾向 neutral
+
+## 与验证器的关系
+
+用户是最忠实的验证器：信号直接来自意图持有者，天然 faithful + 相对 robust。挑战在于 scalability——需大规模用户基数才能产生足够训练数据。
+
+## 参考
+
+- [[verification-horizon-no-silver-bullet|论文原文]]
+- [[span-kto|Span-KTO]]
+- [[verification-trilemma|验证三难]]