20260625:很多新内容

This commit is contained in:
2026-06-25 14:08:47 +08:00
parent 91fac5b6fc
commit 6021dea160
375 changed files with 19263 additions and 251 deletions

View File

@@ -0,0 +1,44 @@
---
title: "Inward-Only Gradient Flow (内向梯度流)"
created: 2026-06-23
updated: 2026-06-23
type: concept
tags: ["gradient-interference", "architecture", "representation-learning", "world-modeling"]
sources: ["[[hazare-dcgwm-2026]]", "https://arxiv.org/abs/2606.18688"]
---
# Inward-Only Gradient Flow (内向梯度流)
**Inward-only gradient flow** 是 [[dcgwm|DCGWM]] 的核心分离机制:外部接地源的梯度**仅流向其指定的潜在子空间**,绝不跨越到其他子空间或回流到建模引擎的任意部分。
## 定义
对于分区潜在空间 Z = Z_p ⊕ Z_b
- PGC 的梯度 ∂L_PGC/∂θ 仅在 W_p 上非零
- SBGC 的梯度 ∂L_SBGC/∂θ 仅在 W_b 上非零
- 任何从 Z_p 到 Z_b或反向的梯度路径被架构阻断
## 实现机制
三种互补实现手段:
1. **梯度掩码**:将接地损失梯度限制到指定权重组——优化器仅对 W_p或 W_b有写权限
2. **Stop-Gradient**:在非目标子空间的所有接地损失计算中应用 sg(z_b)(或 sg(z_p)
3. **参数排除**GRL 参数完全排除在 PGC/SBGC 优化器之外
## 为什么必要
仅用梯度投影(如 GradOPS 的正交投影)处理已有的梯度——而如果梯度已经在共享空间中交互,投影不能恢复已丢失的信息。内向约束**完全阻止**非指定子空间的梯度到达,而非在梯度到达后处理。
类比:投影 = 混在一起再过滤;内向 = 根本不混。
## 与 Domain Expansion 的区别
Domain Expansion 将已有梯度投影到正交子空间。DCGWM 的内向约束施加在**梯度流拓扑**层面——它定义了梯度**可以流经**的路径,而非流经后如何处理。
## 参考
- [[dcgwm|DCGWM]]
- [[objective-interference-collapse|OIC]]
- [[hazare-dcgwm-2026|DCGWM 论文]]