44 lines
1.6 KiB
Markdown
44 lines
1.6 KiB
Markdown
---
|
||
title: "SMG Sequential Adaptation Flow (SMG 序列适应流)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["catastrophic-forgetting", "continual-learning", "smg", "orthogonal-projection"]
|
||
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
|
||
---
|
||
|
||
# SMG Sequential Adaptation Flow (SMG 序列适应流)
|
||
|
||
SMG 框架对**灾难性遗忘**的非渐近完全消除方案——通过几何投影保证下游更新不影响历史学习。
|
||
|
||
## 核心机制
|
||
|
||
当模型需要学习新任务时，SMG 不依赖经验微调，而是：
|
||
|
||
1. **记录历史水平支架（Horizontal Carriage）**：保存先前任务在 SVDχ 空间中学习的水平方向基
|
||
2. **正交投影**：将新任务的下游更新投影到历史水平支架的**正交补**上
|
||
3. **仅在未占用方向学习**：新知识被编码在严格正交于旧知识的方向上
|
||
|
||
```
|
||
Δ_new = P_{orth(H_old)} (∇_loss)
|
||
```
|
||
|
||
## 定理：遗忘消除
|
||
|
||
**Theorem (Non-Asymptotic Forgetting Elimination)**：在 SMG Sequential Adaptation Flow 下，对任意任务序列，之前学到的 SVDχ 分量的 Fisher 信息在后续更新中**严格保持不变**——灾难性遗忘在非渐近意义下完全消除。
|
||
|
||
## 与经验方法的对比
|
||
|
||
| 方法 | 原理 | 保证 |
|
||
|------|------|------|
|
||
| EWC | Fisher 加权正则化 | 渐近近似 |
|
||
| PackNet | 硬参数隔离 | 需要预分配 |
|
||
| Replay | 数据回放 | 存储昂贵 |
|
||
| **SMG Sequential Flow** | **几何正交投影** | **非渐近完全** |
|
||
|
||
## 参考
|
||
|
||
- [[statistically-meaningful-geometry|SMG]]
|
||
- [[quarantining-theorem|Quarantining Theorem]]
|
||
- [[statistically-verifiable-directions|SVDχ]]
|