2.0 KiB
2.0 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Isolation Necessity Theorem (隔离必要性定理) | 2026-06-23 | 2026-06-23 | concept |
|
|
Isolation Necessity Theorem (隔离必要性定理)
隔离必要性定理 是 dcgwm 的形式理论结果：在特定假设下，任何非零生成梯度权重都将导致世界模型表示漂移——生成层必须架构隔离。
定理陈述
Theorem (Isolation Necessity). 设 L_gen 为任何奖励保留高频感知统计的生成渲染目标，L_pred 为奖励丢弃不可预测高频内容的 JEPA 掩码潜在预测目标。假设 (A1) LWME 潜在空间在 L_pred 下有唯一最优点 Z*；(A2) Z* 位于 L_gen 在高频潜在子空间中的鞍点——即 L_gen 在 Z* 处不被最小化。
则对有效目标 α·L_gen + L_pred 中的任何 α > 0，梯度优化将驱动 Z 偏离 Z*。
证明概要
在 Z* 处：
- ∇_Z L_pred = 0（由 A1，最优性定义）
- ∇_Z L_gen ≠ 0（由 A2，Z* 是鞍点而非极小点）
→ 组合目标的梯度：α·∇_Z L_gen + ∇_Z L_pred = α·∇_Z L_gen ≠ 0 → 任何梯度步将 Z 移离 Z* → 步骤走向 L_gen 的局部极小点（由 A2 与 Z* 不同）
唯一解决方案：α = 0——即架构隔断生成梯度流。
关键未证明假设
假设 A2 是定理的关键未证明前提。论文论证该假设对任何奖励感知保真度的生成目标（需要高频统计）结合任何实现带 stop-gradient 的掩码预测的预测目标（丢弃不可预测高频内容）成立——但这不是形式证明，在一般条件下是开放问题。
架构实施
DCGWM 通过以下方式施行定理的 α = 0 结论：
- GRL 在 LWME 参数完全冻结的单独优化阶段训练
- GRL 通过 detach() 操作接收潜在表示
- L_gen 的梯度不回流到任何 LWME 或接地通道参数