48 lines
2.5 KiB
Markdown
48 lines
2.5 KiB
Markdown
---
|
||
title: "Objective Interference Collapse (目标干扰坍缩)"
|
||
created: 2026-06-23
|
||
updated: 2026-06-23
|
||
type: concept
|
||
tags: ["representation-learning", "world-modeling", "collapse-mode", "gradient-interference"]
|
||
sources: ["[[hazare-dcgwm-2026]]", "https://arxiv.org/abs/2606.18688"]
|
||
---
|
||
|
||
# Objective Interference Collapse (目标干扰坍缩)
|
||
|
||
**Objective Interference Collapse (OIC)** 是 Hazare (2026) 提出的表示坍缩第五模态：当共享潜在空间同时优化两个统计结构互不兼容的外部接地目标时，主导通道系统性地坍缩从属通道的表示子空间。
|
||
|
||
## 定义
|
||
|
||
设 Z 为共享潜在空间，G_p（物理接地）和 G_b（行为接地）为两个接地目标，梯度场为 g_p = ∇_Z L_G_p 和 g_b = ∇_Z L_G_b。
|
||
|
||
G_p 和 G_b 具有**不兼容的统计结构**，若：
|
||
- g_p 低熵且集中：物理约束消除大范围状态空间，在特定维度产生稀疏高幅值修正
|
||
- g_b 高熵且弥散：行为分布是随机的，产生跨多维度的小幅值修正
|
||
|
||
**坍缩机制**：联合优化的梯度更新 ∝ g_p + g_b。当 ∥g_p∥ ≫ ∥g_b∥ 时，更新将 Z 推向物理最优点 Z_p*。在 Z_p* 处，物理损失最小化(g_p ≈ 0)，但行为梯度 g_b 非零。后续行为更新扰动物理子空间，下一轮物理修正重新集中潜在空间→行为结构被持续覆盖，无法形成稳定的满秩结构。
|
||
|
||
## 为什么损失权重无法解决
|
||
|
||
标量重加权 α·g_p + β·g_b 改变了相对幅度，但不改变冲突的**几何结构**。任何固定 (α, β) 下，一个通道在其梯度集中的维度上仍占主导。正确的解决方式是**结构性**的：分离参数空间，使各通道梯度不可交互。
|
||
|
||
## 与其他坍缩模态的区别
|
||
|
||
| 模态 | 机制 | 来源 |
|
||
|------|------|------|
|
||
| 完全坍缩 | 所有嵌入收敛到常数 | Chen & He (2020) |
|
||
| 维度坍缩 | 嵌入张成严格子空间 | Jing et al. (2022) |
|
||
| 神经坍缩 | 末层特征收敛到 Simplex ETF | Papyan et al. (2020) |
|
||
| 容量损失 | 非平稳下表示秩下降 | Kumar et al. (2021) |
|
||
| **OIC** | 不兼容接地信号的梯度干涉 | Hazare (2026) — 本文提出 |
|
||
|
||
## 解决方案
|
||
|
||
[[dcgwm|DCGWM]] 通过**分区潜在空间 + 内向梯度流**结构性防止 OIC：物理接地通道仅更新 Z_p，行为接地通道仅更新 Z_b。
|
||
|
||
## 参考
|
||
|
||
- [[hazare-dcgwm-2026|DCGWM 论文]]
|
||
- [[dcgwm|Dual-Channel Grounded World Modeling]]
|
||
- [[representation-collapse|Representation Collapse]]
|
||
- [[inward-only-gradient-flow|Inward-Only Gradient Flow]]
|