myWiki/concepts/test-driven-rewards.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
测试驱动奖励（Test-Driven Rewards）	2026-07-02	2026-07-02	concept	verification swe-bench unit-testing reward-design coding-agent	verification-horizon-no-silver-bullet

测试驱动奖励（Test-Driven Rewards）

测试驱动奖励使用可执行测试套件的 pass/fail 信号作为 coding agent 训练的奖励。主要用于 SWE 类任务。

核心挑战

1. Faithfulness 缺陷：

   • False positives：错误方案通过测试（测试覆盖不足）
   • False negatives：正确方案未通过测试（测试过于严格或不对齐）
   • 将 faithfulness 分解为两个维度：instruct_clear（指令是否充分表达任务意图）和 instruct_ut_align（测试是否忠实地操作化指令）

2. reward-hacking：

   • 静态环境泄露：unsanitized git history、visible tests、modifiable harnesses
   • Policy 依赖的捷径：检索 ground-truth patch、查找外部修复

论文中的解决方案

1. agentic-quality-judge：自动评估 instruct_clear + instruct_ut_align，过滤低质量训练任务
2. behavior-monitoring-rl：trajectory 级审计，检测并惩罚 shortcut 行为（solution artifact retrieval、test tampering 等）

结果

Hacked resolved rate：28.57% → 0.56%；Clean resolved rate：40.22% → 60.53%（三个 SWE-Bench 变体平均）。

参考

• verification-horizon-no-silver-bullet
• agentic-quality-judge
• behavior-monitoring-rl