1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Watanabe 三元组 (Watanabe's Triple) | 2026-06-10 | 2026-06-10 | concept |
|
|
Watanabe 三元组 (lambda, m, nu)
Watanabe 三元组完整刻画了奇异统计模型的贝叶斯渐近性质：
- lambda（real-log-canonical-threshold）：主导自由能的 log n 修正
- m（重数 multiplicity）：log log n 项的系数
- nu（奇异波动 singular fluctuation）：泛化误差的渐近修正
公式
贝叶斯自由能：
F_n = n·S_n + lambda·log n - (m-1)·log log n + O(1)
泛化误差：
G_n = S + lambda/n + nu/n + o(1/n)
Shirodkar 的贡献
dead-directions-geometric-singular-learning 的核心突破：
- nu 的通用性：对一维 dead direction，nu 在 KL 阶中通用确定
- 单 checkpoint 读取：从一次前向+反向传播计算 lambda, m, nu
- 无需后验采样：传统 SLT 需要 MCMC 采样 → 现在仅需梯度信息
实践意义
直接从训练轨迹（梯度流）读取 (lambda, m, nu) → 实时监控模型的泛化性质——这在之前需要完整的贝叶斯后验分析。