1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| 实对数典范阈值 (Real Log Canonical Threshold, RLCT) | 2026-06-10 | 2026-06-10 | concept |
|
|
实对数典范阈值 (RLCT, lambda)
RLCT 是 singular-learning-theory中主导贝叶斯自由能渐近修正的不变量：
F_n = n · S_n + lambda · log n + (m-1) · log log n + O(1)
- n: 样本量
- S_n: 经验熵
- lambda：实对数典范阈值
- m：重数（multiplicity）
几何含义
lambda 是有理数（广中平祐定理的推论），反映奇异集在参数空间中的"尖锐程度"：
- lambda 小 → 奇异集尖锐 → 模型复杂度低 → 更好的泛化
- lambda 大 → 奇异集平坦 → 模型复杂度高
与 Dead Direction 的关系
dead-directions-geometric-singular-learning 的核心贡献：对于单 dead direction：
lambda = 1/(2k)
其中 k 是 kl-order，可从 Fisher 曲率衰减率计算——在原始坐标中，无需消解。
传统计算方式
需要通过广中平祐消解（Hironaka resolution）将奇异集"吹开"——对百万参数网络不可行。Shirodkar 的贡献使 lambda 在原始坐标中可计算。
与其他不变量
watanabe-triple (lambda, m, nu) 完整刻画了奇异模型的贝叶斯渐近性质。