20260706:新增一些文章

concepts/verifier-generator-coevolution.md

@@ -0,0 +1,34 @@
+---
+title: "验证器-生成器协同进化（Verifier-Generator Co-evolution）"
+created: 2026-07-02
+updated: 2026-07-02
+type: concept
+tags: [verification, co-evolution, training, adversarial-training]
+sources:
+  - "[[verification-horizon-no-silver-bullet]]"
+---
+
+# 验证器-生成器协同进化
+
+验证器必须与生成器同步进化——这是 [[verification-horizon-no-silver-bullet|Verification Horizon 论文]] 的核心主张。
+
+## 类比 GAN
+
+类似于 GAN 中 discriminator-generator 的对抗动态（Goodfellow et al., 2020），但目标是**协作**而非对抗：验证器提供有效的训练信号引导 policy 改进，而非试图击败生成器。
+
+## 论文中的四种形式
+
+1. **Behavior Monitor 的迭代更新**：每轮 RL 后抽样新 trajectory，发现新的 shortcut 行为模式 → 更新 pattern set `P`
+2. **Interactive Judge 对静态 Judge 的替代**：当静态 judge 被长度利用破解后，交互式 judge 通过运行时行为评估恢复鲁棒性
+3. **用户反馈作为持续信号源**：真实用户交互产生 on-policy 信号，驱动下一轮 policy 改进
+4. **Agent Evaluator 的循环升级**：评估器提示的迭代（v1→v4）正是协同进化的微观体现
+
+## 关键洞察
+
+"不存在固定奖励函数能在 policy 能力增长下持续有效"——这意味着验证不是一次性设计问题，而是**持续运维问题**。验证系统必须作为训练管线的核心基础设施不断重建。
+
+## 参考
+
+- [[verification-horizon-no-silver-bullet|论文原文]]
+- [[verification-horizon|验证边界]]
+- [[verification-trilemma|验证三难]]