20260617:目前有914 页

concepts/singular-learning-theory.md

@@ -0,0 +1,50 @@
+---
+title: "奇异学习理论 (Singular Learning Theory)"
+created: 2026-06-10
+updated: 2026-06-10
+type: concept
+tags: ["bayesian-statistics", "algebraic-geometry", "model-selection", "generalization"]
+sources: ["[[dead-directions-geometric-singular-learning]]"]
+---
+
+# 奇异学习理论 (Singular Learning Theory, SLT)
+
+**Singular Learning Theory**（Watanabe, 2009）是处理**不可识别模型**（参数到分布的映射非单射）的贝叶斯渐近理论。
+
+## 与传统统计理论的区别
+
+| 传统理论 | SLT |
+|---------|-----|
+| 假设模型可识别 | 允许不可识别 |
+| Fisher 信息矩阵满秩 | Fisher 矩阵退化 |
+| BIC 等准则有效 | 需要修正准则 (WAIC, WBIC) |
+| 正则渐近 | 奇异渐近 |
+
+## 核心对象
+
+### 奇异集 Sigma_T
+```
+Sigma_T = {theta : p_theta = p*}
+```
+所有完美拟合真实分布的参数集合——在过参数化网络中，这是一个连续流形而非孤立点。
+
+### 广中平祐消解 (Hironaka Resolution)
+通过坐标变换将奇异集"吹开"为简单交叉的乘积形式，在消解坐标中 KL 散度取法交形式。
+
+### 实对数典范阈值 (RLCT)
+[[real-log-canonical-threshold|lambda]] 是主导贝叶斯自由能渐近修正的不变量：
+```
+F_n = n*S_n + lambda*log n + ...
+```
+
+## SLT 与信息几何的鸿沟
+
+- SLT 在"消解坐标"中工作（计算 lambda 需要做 blow-up）
+- [[information-geometry|信息几何]]在"原始坐标"中工作（假设 Fisher 非退化）
+- [[dead-direction|Dead Direction]] 桥接了两者
+
+## 参考
+- [[dead-directions-geometric-singular-learning|Dead Directions]]
+- [[real-log-canonical-threshold|RLCT]]
+- [[watanabe-triple|Watanabe's Triple]]
+- [[information-geometry|Information Geometry]]