myWiki/concepts/agentic-quality-judge.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Agent 质量判断器（Agentic Quality Judge）	2026-07-02	2026-07-02	concept	verification quality-filtering swe-bench judge	verification-horizon-no-silver-bullet

Agent 质量判断器（Agentic Quality Judge）

自动评估 SWE 类任务质量（instruction 的清晰度和 test-instruction 的对齐度）的 Agent 判断器，作为 test-driven-rewards 的语义过滤器。

工作原理

基于 MiniSWEAgent 框架，判断器主动探索 Docker 化的仓库环境：

1. 检查 instruction 和环境是否足够自包含（instruct_clear）
2. 验证 test suite 是否与所述任务匹配（instruct_ut_align）
3. 综合判定 overall_good

设计选择

• Base judge model：Qwen-Plus / Qwen-Max
• 投票机制：3-voting / 5-voting majority voting
• 辅助信息：few-shot demonstrations（提升 instruct_ut_align 精度）、ground-truth patch（提升 recall）

效果

• 在 human-annotated benchmark 上 F1 = 76-81%
• 质量过滤后的数据使 RL 在 SWE-bench Multilingual 和 Pro 上显著提升
• 低 solve-rate 任务中低质量实例占比高 → 质量过滤提升采样效率和奖励可靠性

参考

• verification-horizon-no-silver-bullet
• test-driven-rewards
• behavior-monitoring-rl