1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 验证器-生成器协同进化（Verifier-Generator Co-evolution） | 2026-07-02 | 2026-07-02 | concept |
|
|
验证器-生成器协同进化
验证器必须与生成器同步进化——这是 verification-horizon-no-silver-bullet 的核心主张。
类比 GAN
类似于 GAN 中 discriminator-generator 的对抗动态（Goodfellow et al., 2020），但目标是协作而非对抗：验证器提供有效的训练信号引导 policy 改进，而非试图击败生成器。
论文中的四种形式
- Behavior Monitor 的迭代更新：每轮 RL 后抽样新 trajectory，发现新的 shortcut 行为模式 → 更新 pattern set
P - Interactive Judge 对静态 Judge 的替代：当静态 judge 被长度利用破解后，交互式 judge 通过运行时行为评估恢复鲁棒性
- 用户反馈作为持续信号源：真实用户交互产生 on-policy 信号，驱动下一轮 policy 改进
- Agent Evaluator 的循环升级：评估器提示的迭代（v1→v4）正是协同进化的微观体现
关键洞察
"不存在固定奖励函数能在 policy 能力增长下持续有效"——这意味着验证不是一次性设计问题，而是持续运维问题。验证系统必须作为训练管线的核心基础设施不断重建。