---
title: "Dead Directions: 几何奇异学习理论"
created: 2026-06-10
updated: 2026-06-10
type: paper
tags: ["singular-learning-theory", "information-geometry", "fisher-metric", "deep-learning-theory", "optimization"]
sources: ["https://arxiv.org/abs/2606.05957"]
---

# Dead Directions: Geometric Singular Learning

**Author**: Tejas Pradeep Shirodkar (IIIT Hyderabad)
**Venue**: arXiv:2606.05957v1 [cs.LG, stat.ML], 2026 | 139 pages

## 核心问题

[[singular-learning-theory|奇异学习理论]]（Watanabe）和 [[information-geometry|信息几何]]（Amari）研究同一参数空间，但使用几乎不相交的词汇表：
- **SLT**：在解析坐标中计算贝叶斯不变量（需要广中平祐消解）
- **信息几何**：在原始坐标中工作，假设 Fisher 度量非退化——过参数化模型经常违反此假设

**鸿沟**：奇异结构的信息存在于 Watanabe 框架中，但不在实践者可用的坐标中。

## Dead Direction：桥接原语

**[[dead-direction|Dead Direction]]** 是 Fisher 度量退化方向上的单位向量——同时是 Amari 的"核逼近方向"和 Watanabe 的"解析奇异集的切向量"。

核心洞察：KL 阶 k 可从方向 Fisher 曲率的衰减率恢复，在原始参数坐标中，无需广中平祐消解。

## 三大支柱

### 1. 静态速率（Static Rate）
沿 dead direction，方向 Fisher 二次型满足：
```
u^T F(theta(t)) u = Theta(t^{2(k-1)})
```
KL 阶 k 直接从 Fisher 特征值的衰减斜率读出。

### 2. 深度网络 K-FAC 分解
多层 K-FAC 将 Fisher 块写为激活侧速率 × 梯度侧速率的乘积，二者互为对偶。实例化到现代网络原语：残差流、层归一化、注意力。

### 3. Gauge 商定理
在 G-不变度量上的梯度流下，速率可传递到商空间 Theta/G：
- **SGD** 符合条件（其隐式正则化保持对称性）
- **标准 Adam 不符合**
- 构造 **[[ddcadam|DDCAdam]]**（Dead-Direction-Calibrated Adam）：G-等变的 Adam 族预条件子

## 实践意义

**从单个 checkpoint 读出 Watanabe 三元组**：通过一次前向和反向传播计算 (lambda, m, nu)，无需后验采样——这对大规模网络的实用 SLT 分析具有突破性意义。

## 相关概念
- [[dead-direction|Dead Direction]]
- [[singular-learning-theory|Singular Learning Theory]]
- [[information-geometry|Information Geometry]]
- [[fisher-information-metric|Fisher Information Metric]]
- [[real-log-canonical-threshold|RLCT]]
- [[kl-order|KL Order]]
- [[watanabe-triple|Watanabe's Triple]]
- [[ddcadam|DDCAdam]]

## 来源
- [arXiv](https://arxiv.org/abs/2606.05957)
- [原始存档](raw/papers/shirodkar-dead-directions-2026.md)