20260625:很多新内容
This commit is contained in:
47
concepts/isolation-necessity-theorem.md
Normal file
47
concepts/isolation-necessity-theorem.md
Normal file
@@ -0,0 +1,47 @@
|
||||
---
|
||||
title: "Isolation Necessity Theorem (隔离必要性定理)"
|
||||
created: 2026-06-23
|
||||
updated: 2026-06-23
|
||||
type: concept
|
||||
tags: ["theorem", "generative-modeling", "world-modeling", "representation-learning"]
|
||||
sources: ["[[hazare-dcgwm-2026]]", "https://arxiv.org/abs/2606.18688"]
|
||||
---
|
||||
|
||||
# Isolation Necessity Theorem (隔离必要性定理)
|
||||
|
||||
**隔离必要性定理** 是 [[dcgwm|DCGWM]] 的形式理论结果:在特定假设下,任何非零生成梯度权重都将导致世界模型表示漂移——**生成层必须架构隔离**。
|
||||
|
||||
## 定理陈述
|
||||
|
||||
**Theorem (Isolation Necessity).** 设 L_gen 为任何奖励保留高频感知统计的生成渲染目标,L_pred 为奖励丢弃不可预测高频内容的 JEPA 掩码潜在预测目标。假设 (A1) LWME 潜在空间在 L_pred 下有唯一最优点 Z*;(A2) Z* 位于 L_gen 在高频潜在子空间中的鞍点——即 L_gen 在 Z* 处不被最小化。
|
||||
|
||||
则对有效目标 α·L_gen + L_pred 中的任何 α > 0,梯度优化将驱动 Z 偏离 Z*。
|
||||
|
||||
## 证明概要
|
||||
|
||||
在 Z* 处:
|
||||
- ∇_Z L_pred = 0(由 A1,最优性定义)
|
||||
- ∇_Z L_gen ≠ 0(由 A2,Z* 是鞍点而非极小点)
|
||||
|
||||
→ 组合目标的梯度:α·∇_Z L_gen + ∇_Z L_pred = α·∇_Z L_gen ≠ 0
|
||||
→ 任何梯度步将 Z 移离 Z*
|
||||
→ 步骤走向 L_gen 的局部极小点(由 A2 与 Z* 不同)
|
||||
|
||||
唯一解决方案:α = 0——即架构隔断生成梯度流。
|
||||
|
||||
## 关键未证明假设
|
||||
|
||||
**假设 A2 是定理的关键未证明前提**。论文论证该假设对任何奖励感知保真度的生成目标(需要高频统计)结合任何实现带 stop-gradient 的掩码预测的预测目标(丢弃不可预测高频内容)成立——但这不是形式证明,在一般条件下是开放问题。
|
||||
|
||||
## 架构实施
|
||||
|
||||
DCGWM 通过以下方式施行定理的 α = 0 结论:
|
||||
- GRL 在 LWME 参数**完全冻结**的单独优化阶段训练
|
||||
- GRL 通过 detach() 操作接收潜在表示
|
||||
- L_gen 的梯度**不回流**到任何 LWME 或接地通道参数
|
||||
|
||||
## 参考
|
||||
|
||||
- [[dcgwm|DCGWM]]
|
||||
- [[hazare-dcgwm-2026|DCGWM 论文]]
|
||||
- [[jepa|JEPA]]
|
||||
Reference in New Issue
Block a user