---
title: "Agent 质量判断器（Agentic Quality Judge）"
created: 2026-07-02
updated: 2026-07-02
type: concept
tags: [verification, quality-filtering, swe-bench, judge]
sources:
  - "[[verification-horizon-no-silver-bullet]]"
---

# Agent 质量判断器（Agentic Quality Judge）

自动评估 SWE 类任务质量（instruction 的清晰度和 test-instruction 的对齐度）的 Agent 判断器，作为 [[test-driven-rewards|测试驱动奖励]] 的语义过滤器。

## 工作原理

基于 MiniSWEAgent 框架，判断器主动探索 Docker 化的仓库环境：
1. 检查 instruction 和环境是否足够自包含（`instruct_clear`）
2. 验证 test suite 是否与所述任务匹配（`instruct_ut_align`）
3. 综合判定 `overall_good`

## 设计选择

- **Base judge model**：Qwen-Plus / Qwen-Max
- **投票机制**：3-voting / 5-voting majority voting
- **辅助信息**：few-shot demonstrations（提升 instruct_ut_align 精度）、ground-truth patch（提升 recall）

## 效果

- 在 human-annotated benchmark 上 F1 = 76-81%
- 质量过滤后的数据使 RL 在 SWE-bench Multilingual 和 Pro 上显著提升
- 低 solve-rate 任务中低质量实例占比高 → 质量过滤提升采样效率和奖励可靠性

## 参考

- [[verification-horizon-no-silver-bullet|论文原文]]
- [[test-driven-rewards|测试驱动奖励]]
- [[behavior-monitoring-rl|行为监控RL]]