35 lines
1.6 KiB
Markdown
35 lines
1.6 KiB
Markdown
---
|
||
title: "验证器-生成器协同进化（Verifier-Generator Co-evolution）"
|
||
created: 2026-07-02
|
||
updated: 2026-07-02
|
||
type: concept
|
||
tags: [verification, co-evolution, training, adversarial-training]
|
||
sources:
|
||
- "[[verification-horizon-no-silver-bullet]]"
|
||
---
|
||
|
||
# 验证器-生成器协同进化
|
||
|
||
验证器必须与生成器同步进化——这是 [[verification-horizon-no-silver-bullet|Verification Horizon 论文]] 的核心主张。
|
||
|
||
## 类比 GAN
|
||
|
||
类似于 GAN 中 discriminator-generator 的对抗动态（Goodfellow et al., 2020），但目标是**协作**而非对抗：验证器提供有效的训练信号引导 policy 改进，而非试图击败生成器。
|
||
|
||
## 论文中的四种形式
|
||
|
||
1. **Behavior Monitor 的迭代更新**：每轮 RL 后抽样新 trajectory，发现新的 shortcut 行为模式 → 更新 pattern set `P`
|
||
2. **Interactive Judge 对静态 Judge 的替代**：当静态 judge 被长度利用破解后，交互式 judge 通过运行时行为评估恢复鲁棒性
|
||
3. **用户反馈作为持续信号源**：真实用户交互产生 on-policy 信号，驱动下一轮 policy 改进
|
||
4. **Agent Evaluator 的循环升级**：评估器提示的迭代（v1→v4）正是协同进化的微观体现
|
||
|
||
## 关键洞察
|
||
|
||
"不存在固定奖励函数能在 policy 能力增长下持续有效"——这意味着验证不是一次性设计问题，而是**持续运维问题**。验证系统必须作为训练管线的核心基础设施不断重建。
|
||
|
||
## 参考
|
||
|
||
- [[verification-horizon-no-silver-bullet|论文原文]]
|
||
- [[verification-horizon|验证边界]]
|
||
- [[verification-trilemma|验证三难]]
|