Files
myWiki/concepts/objective-interference-collapse.md

2.5 KiB
Raw Blame History

title, created, updated, type, tags, sources
title created updated type tags sources
Objective Interference Collapse (目标干扰坍缩) 2026-06-23 2026-06-23 concept
representation-learning
world-modeling
collapse-mode
gradient-interference
hazare-dcgwm-2026
https://arxiv.org/abs/2606.18688

Objective Interference Collapse (目标干扰坍缩)

Objective Interference Collapse (OIC) 是 Hazare (2026) 提出的表示坍缩第五模态:当共享潜在空间同时优化两个统计结构互不兼容的外部接地目标时,主导通道系统性地坍缩从属通道的表示子空间。

定义

设 Z 为共享潜在空间G_p物理接地和 G_b行为接地为两个接地目标梯度场为 g_p = ∇_Z L_G_p 和 g_b = ∇_Z L_G_b。

G_p 和 G_b 具有不兼容的统计结构,若:

  • g_p 低熵且集中:物理约束消除大范围状态空间,在特定维度产生稀疏高幅值修正
  • g_b 高熵且弥散:行为分布是随机的,产生跨多维度的小幅值修正

坍缩机制:联合优化的梯度更新 ∝ g_p + g_b。当 ∥g_p∥ ≫ ∥g_b∥ 时,更新将 Z 推向物理最优点 Z_p*。在 Z_p* 处,物理损失最小化(g_p ≈ 0),但行为梯度 g_b 非零。后续行为更新扰动物理子空间,下一轮物理修正重新集中潜在空间→行为结构被持续覆盖,无法形成稳定的满秩结构。

为什么损失权重无法解决

标量重加权 α·g_p + β·g_b 改变了相对幅度,但不改变冲突的几何结构。任何固定 (α, β) 下,一个通道在其梯度集中的维度上仍占主导。正确的解决方式是结构性的:分离参数空间,使各通道梯度不可交互。

与其他坍缩模态的区别

模态 机制 来源
完全坍缩 所有嵌入收敛到常数 Chen & He (2020)
维度坍缩 嵌入张成严格子空间 Jing et al. (2022)
神经坍缩 末层特征收敛到 Simplex ETF Papyan et al. (2020)
容量损失 非平稳下表示秩下降 Kumar et al. (2021)
OIC 不兼容接地信号的梯度干涉 Hazare (2026) — 本文提出

解决方案

dcgwm 通过分区潜在空间 + 内向梯度流结构性防止 OIC物理接地通道仅更新 Z_p行为接地通道仅更新 Z_b。

参考