39 lines
1.4 KiB
Markdown
39 lines
1.4 KiB
Markdown
---
|
||
title: "Agent 质量判断器（Agentic Quality Judge）"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [verification, quality-filtering, swe-bench, judge]
|
||
sources:
|
||
- "[[verification-horizon-no-silver-bullet]]"
|
||
---
|
||
|
||
# Agent 质量判断器（Agentic Quality Judge）
|
||
|
||
自动评估 SWE 类任务质量（instruction 的清晰度和 test-instruction 的对齐度）的 Agent 判断器，作为 [[test-driven-rewards|测试驱动奖励]] 的语义过滤器。
|
||
|
||
## 工作原理
|
||
|
||
基于 MiniSWEAgent 框架，判断器主动探索 Docker 化的仓库环境：
|
||
1. 检查 instruction 和环境是否足够自包含（`instruct_clear`）
|
||
2. 验证 test suite 是否与所述任务匹配（`instruct_ut_align`）
|
||
3. 综合判定 `overall_good`
|
||
|
||
## 设计选择
|
||
|
||
- **Base judge model**：Qwen-Plus / Qwen-Max
|
||
- **投票机制**：3-voting / 5-voting majority voting
|
||
- **辅助信息**：few-shot demonstrations（提升 instruct_ut_align 精度）、ground-truth patch（提升 recall）
|
||
|
||
## 效果
|
||
|
||
- 在 human-annotated benchmark 上 F1 = 76-81%
|
||
- 质量过滤后的数据使 RL 在 SWE-bench Multilingual 和 Pro 上显著提升
|
||
- 低 solve-rate 任务中低质量实例占比高 → 质量过滤提升采样效率和奖励可靠性
|
||
|
||
## 参考
|
||
|
||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||
- [[test-driven-rewards|测试驱动奖励]]
|
||
- [[behavior-monitoring-rl|行为监控RL]]
|