20260720

concepts/smg-sequential-adaptation-flow.md

@@ -0,0 +1,43 @@
+---
+title: "SMG Sequential Adaptation Flow (SMG 序列适应流)"
+created: 2026-07-10
+updated: 2026-07-10
+type: concept
+tags: ["catastrophic-forgetting", "continual-learning", "smg", "orthogonal-projection"]
+sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
+---
+
+# SMG Sequential Adaptation Flow (SMG 序列适应流)
+
+SMG 框架对**灾难性遗忘**的非渐近完全消除方案——通过几何投影保证下游更新不影响历史学习。
+
+## 核心机制
+
+当模型需要学习新任务时，SMG 不依赖经验微调，而是：
+
+1. **记录历史水平支架（Horizontal Carriage）**：保存先前任务在 SVDχ 空间中学习的水平方向基
+2. **正交投影**：将新任务的下游更新投影到历史水平支架的**正交补**上
+3. **仅在未占用方向学习**：新知识被编码在严格正交于旧知识的方向上
+
+```
+Δ_new = P_{orth(H_old)} (∇_loss)
+```
+
+## 定理：遗忘消除
+
+**Theorem (Non-Asymptotic Forgetting Elimination)**：在 SMG Sequential Adaptation Flow 下，对任意任务序列，之前学到的 SVDχ 分量的 Fisher 信息在后续更新中**严格保持不变**——灾难性遗忘在非渐近意义下完全消除。
+
+## 与经验方法的对比
+
+| 方法 | 原理 | 保证 |
+|------|------|------|
+| EWC | Fisher 加权正则化 | 渐近近似 |
+| PackNet | 硬参数隔离 | 需要预分配 |
+| Replay | 数据回放 | 存储昂贵 |
+| **SMG Sequential Flow** | **几何正交投影** | **非渐近完全** |
+
+## 参考
+
+- [[statistically-meaningful-geometry|SMG]]
+- [[quarantining-theorem|Quarantining Theorem]]
+- [[statistically-verifiable-directions|SVDχ]]