20260706:新增一些文章

concepts/agentic-quality-judge.md

@@ -0,0 +1,38 @@
+---
+title: "Agent 质量判断器（Agentic Quality Judge）"
+created: 2026-07-02
+updated: 2026-07-02
+type: concept
+tags: [verification, quality-filtering, swe-bench, judge]
+sources:
+  - "[[verification-horizon-no-silver-bullet]]"
+---
+
+# Agent 质量判断器（Agentic Quality Judge）
+
+自动评估 SWE 类任务质量（instruction 的清晰度和 test-instruction 的对齐度）的 Agent 判断器，作为 [[test-driven-rewards|测试驱动奖励]] 的语义过滤器。
+
+## 工作原理
+
+基于 MiniSWEAgent 框架，判断器主动探索 Docker 化的仓库环境：
+1. 检查 instruction 和环境是否足够自包含（`instruct_clear`）
+2. 验证 test suite 是否与所述任务匹配（`instruct_ut_align`）
+3. 综合判定 `overall_good`
+
+## 设计选择
+
+- **Base judge model**：Qwen-Plus / Qwen-Max
+- **投票机制**：3-voting / 5-voting majority voting
+- **辅助信息**：few-shot demonstrations（提升 instruct_ut_align 精度）、ground-truth patch（提升 recall）
+
+## 效果
+
+- 在 human-annotated benchmark 上 F1 = 76-81%
+- 质量过滤后的数据使 RL 在 SWE-bench Multilingual 和 Pro 上显著提升
+- 低 solve-rate 任务中低质量实例占比高 → 质量过滤提升采样效率和奖励可靠性
+
+## 参考
+
+- [[verification-horizon-no-silver-bullet|论文原文]]
+- [[test-driven-rewards|测试驱动奖励]]
+- [[behavior-monitoring-rl|行为监控RL]]