1.7 KiB
1.7 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 奇异学习理论 (Singular Learning Theory) | 2026-06-10 | 2026-06-10 | concept |
|
|
奇异学习理论 (Singular Learning Theory, SLT)
Singular Learning Theory（Watanabe, 2009）是处理不可识别模型（参数到分布的映射非单射）的贝叶斯渐近理论。
与传统统计理论的区别
| 传统理论 | SLT |
|---|---|
| 假设模型可识别 | 允许不可识别 |
| Fisher 信息矩阵满秩 | Fisher 矩阵退化 |
| BIC 等准则有效 | 需要修正准则 (WAIC, WBIC) |
| 正则渐近 | 奇异渐近 |
核心对象
奇异集 Sigma_T
Sigma_T = {theta : p_theta = p*}
所有完美拟合真实分布的参数集合——在过参数化网络中，这是一个连续流形而非孤立点。
广中平祐消解 (Hironaka Resolution)
通过坐标变换将奇异集"吹开"为简单交叉的乘积形式，在消解坐标中 KL 散度取法交形式。
实对数典范阈值 (RLCT)
real-log-canonical-threshold 是主导贝叶斯自由能渐近修正的不变量：
F_n = n*S_n + lambda*log n + ...
SLT 与信息几何的鸿沟
- SLT 在"消解坐标"中工作（计算 lambda 需要做 blow-up）
- information-geometry在"原始坐标"中工作（假设 Fisher 非退化）
- dead-direction 桥接了两者