1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| SMG Sequential Adaptation Flow (SMG 序列适应流) | 2026-07-10 | 2026-07-10 | concept |
|
|
SMG Sequential Adaptation Flow (SMG 序列适应流)
SMG 框架对灾难性遗忘的非渐近完全消除方案——通过几何投影保证下游更新不影响历史学习。
核心机制
当模型需要学习新任务时，SMG 不依赖经验微调，而是：
- 记录历史水平支架（Horizontal Carriage）：保存先前任务在 SVDχ 空间中学习的水平方向基
- 正交投影：将新任务的下游更新投影到历史水平支架的正交补上
- 仅在未占用方向学习：新知识被编码在严格正交于旧知识的方向上
Δ_new = P_{orth(H_old)} (∇_loss)
定理：遗忘消除
Theorem (Non-Asymptotic Forgetting Elimination)：在 SMG Sequential Adaptation Flow 下，对任意任务序列，之前学到的 SVDχ 分量的 Fisher 信息在后续更新中严格保持不变——灾难性遗忘在非渐近意义下完全消除。
与经验方法的对比
| 方法 | 原理 | 保证 |
|---|---|---|
| EWC | Fisher 加权正则化 | 渐近近似 |
| PackNet | 硬参数隔离 | 需要预分配 |
| Replay | 数据回放 | 存储昂贵 |
| SMG Sequential Flow | 几何正交投影 | 非渐近完全 |