20260720
This commit is contained in:
68
papers/agent-harness-survey-2026.md
Normal file
68
papers/agent-harness-survey-2026.md
Normal file
@@ -0,0 +1,68 @@
|
||||
---
|
||||
title: "Agent Harness Survey — From QA to Task Completion (2026)"
|
||||
created: 2026-07-13
|
||||
updated: 2026-07-13
|
||||
type: paper
|
||||
tags: [agent, harness, survey, agent-engineering, execution-harness]
|
||||
sources:
|
||||
- https://arxiv.org/abs/2606.20683
|
||||
- https://github.com/ggjy/Awesome-Agent-Engineering
|
||||
---
|
||||
|
||||
# Agent Harness Survey — From QA to Task Completion
|
||||
|
||||
## 中文摘要
|
||||
|
||||
LLM Agent 正从被动问答转向主动任务完成。这篇综述通过 **模型-脚手架（Model-Harness）透镜** 审视整个 Agent 系统：模型提供认知引擎，而执行脚手架（execution harness）决定系统能观察什么、如何行动、状态如何持久、错误如何检测和恢复。
|
||||
|
||||
核心论点：Agent 质量（成功率、效率、安全性、泛化能力）**不取决于模型能力本身**，而取决于模型能力、运行时基础设施、任务结构和评估设计四者之间的交互。
|
||||
|
||||
## 核心问题
|
||||
|
||||
> 模型规模扩展能否填补 Agent 任务上的性能缺口？答案是不能——瓶颈正在从模型推理能力向脚手架设计转移。
|
||||
|
||||
传统 benchmark（MMLU、GPQA、HumanEval）趋于饱和，而 Agent 任务的 benchmark（SWE-bench、WebArena、OSWorld、Terminal-Bench）仍有巨大空间。这说明**脚手架设计是 Agent 性能的关键杠杆**。
|
||||
|
||||
## 四个工程范式演化
|
||||
|
||||
1. **[[prompt-engineering|提示工程]]** → 解决"如何提问"的表达问题，不解决信息问题
|
||||
2. **[[context-engineering|上下文工程]]** → 从静态 prompt 到动态组装的信息生命周期管理（RAG、记忆、工具定义）
|
||||
3. **[[harness-engineering|脚手架工程]]** → 闭环执行：观测→决策→行动→验证→恢复，六组件运行时
|
||||
4. **[[agent-native-training|Agent 原生训练]]** → 规划/工具使用/验证内部化为模型参数，模型-脚手架协同演化
|
||||
|
||||
## 脚手架六组件解耦
|
||||
|
||||
形式化定义：**A_LLM = ⟨M, H⟩ = ⟨M, I_obs, C, L, I_act, S, V⟩**
|
||||
|
||||
| 组件 | 职责 | 核心权衡 |
|
||||
|------|------|----------|
|
||||
| [[observation-interface|I_obs 观测接口]] | 环境信号→模型可读形式 | 丰富性 vs. 可处理性 |
|
||||
| [[context-manager|C 上下文管理]] | 动态选择/压缩/刷新上下文信息 | 保真度 vs. 可管理性 |
|
||||
| [[control-loop|L 控制循环]] | 编排执行步骤、委托、终止 | 适应性 vs. 稳定性 |
|
||||
| [[action-interface|I_act 行动接口]] | 模型输出→可执行操作 | 灵活性 vs. 可控性 |
|
||||
| [[state-artifact-store|S 状态/产物存储]] | 跨步骤/跨会话持久化 | 完整性 vs. 可用性 |
|
||||
| [[verification-governance|V 验证与治理]] | 检查、约束、修复执行 | 自主性 vs. 鲁棒性 |
|
||||
|
||||
这六个组件是 [[cross-layer-interaction|耦合系统]]，而非独立模块——优化某一层可能把风险转移到其他层。
|
||||
|
||||
## 关键洞察
|
||||
|
||||
1. **Agent ≠ 模型 + 工具**：可靠的长期任务完成依赖于可组合、可优化的多模型运行时
|
||||
2. **脚手架正在成为可学习对象**（[[learnable-harness|可学习脚手架]]）：NLAH、Meta-Harness、AHE 把运行时策略本身作为优化目标
|
||||
3. **多模型脚手架**（[[multi-model-harness|多模型脚手架]]）：不同模型负责规划/编码/验证/检索等不同角色
|
||||
4. **模型-脚手架协同演化**（[[model-harness-coevolution|模型-脚手架协同演化]]）：部署过程中模型、脚手架、改进策略三者联合更新
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[execution-harness|执行脚手架]]
|
||||
- [[agent-harness|Agent 脚手架]]
|
||||
- [[four-paradigms-agent-engineering|Agent 工程四范式]]
|
||||
- [[harness-six-components|脚手架六组件模型]]
|
||||
- [[harness-task-mapping|脚手架-任务映射]]
|
||||
- [[agentic-evaluation|Agent 评估]]
|
||||
|
||||
## 来源
|
||||
|
||||
- [原始存档](raw/papers/agent-harness-survey-2026.md)
|
||||
- arXiv: https://arxiv.org/abs/2606.20683
|
||||
- Awesome Agent Engineering: https://github.com/ggjy/Awesome-Agent-Engineering
|
||||
85
papers/cubas-curvature-adaptive-sampling-2026.md
Normal file
85
papers/cubas-curvature-adaptive-sampling-2026.md
Normal file
@@ -0,0 +1,85 @@
|
||||
---
|
||||
title: "CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification"
|
||||
created: 2026-07-10
|
||||
updated: 2026-07-10
|
||||
type: paper
|
||||
tags: ["adaptive-sampling", "information-geometry", "supervised-classification", "fisher-information", "potts-mrf"]
|
||||
arxiv: "2607.03145"
|
||||
authors: ["Alexandre L. M. Levada"]
|
||||
venue: "arXiv preprint"
|
||||
year: 2026
|
||||
sources: ["https://arxiv.org/abs/2607.03145"]
|
||||
---
|
||||
|
||||
# CuBAS: Curvature-Based Adaptive Sampling (2026)
|
||||
|
||||
**CuBAS**（Curvature-Based Adaptive Sampling）是一个**信息几何驱动的自适应数据选择框架**，将监督分类中的训练集筛选转化为[[statistical-manifold|统计流形]]的局部曲率分析问题。
|
||||
|
||||
## 核心问题
|
||||
|
||||
> 如何在带标签数据集中识别**最具信息量**的样本？
|
||||
|
||||
传统方法依赖随机采样或基于分类器不确定性的试探，CuBAS 则从**数据分布的内在几何**出发——将带标签 k-NN 图视为由 [[potts-markov-random-field|Potts MRF]] 诱导的统计流形，曲率直接编码信息密度。
|
||||
|
||||
## 方法论架构
|
||||
|
||||
```
|
||||
Labeled Dataset D
|
||||
│
|
||||
▼
|
||||
k-NN Graph G ──→ Potts MRF (β by MPL)
|
||||
│
|
||||
▼
|
||||
Node-wise Curvature Scores S_i(β) = -Ψ_i/(Φ_i+λ)
|
||||
│ ↑
|
||||
│ Φ_i: 1st-order Fisher (metric)
|
||||
│ Ψ_i: 2nd-order Fisher (curvature)
|
||||
▼
|
||||
Adaptive Threshold ──→ L (low-curvature) + H (high-curvature)
|
||||
│
|
||||
▼
|
||||
Curvature-Aware Subsampling → Compact & Informative Training Set
|
||||
```
|
||||
|
||||
## 关键贡献
|
||||
|
||||
1. **统计流形曲率作为信息量度量**：通过 [[observed-fisher-information|一阶/二阶观测 Fisher 信息]] 比值定义每个节点的标量曲率
|
||||
2. **CuBAS 算法**：模型无关、仅需图拓扑 + Potts 充分统计量，无需预训练分类器
|
||||
3. **自适应阈值级联**：[[adaptive-threshold-estimation|Otsu → Ashman's D → Tukey-fence]]，每数据集自动调优
|
||||
4. **大规模验证**：60+ 数据集（表格/图像/基因组），15 种训练比例 × 100 次重复，全胜 Random 和 Entropy
|
||||
|
||||
## 关键结果
|
||||
|
||||
| 场景 | CuBAS | Entropy | Random |
|
||||
|------|-------|---------|--------|
|
||||
| 全部 60+ 数据集均值 | **0.8455** | 0.7623 | 0.7273 |
|
||||
| 10% 训练预算（42 数据集） | **0.8691** | 0.7345 | — |
|
||||
| breast_cancer | **0.9996** | 0.9752 | 0.9469 |
|
||||
| wine-quality-red | **0.5214** | 0.2731 | 0.2703 |
|
||||
|
||||
Wilcoxon 检验 p < 10⁻¹⁰，证实 CuBAS 优势系统性而非偶然。
|
||||
|
||||
## 数据效率特性
|
||||
|
||||
CuBAS 在小训练比例下即可达到 Random 采样在大训练比例下的精度——这一**数据效率**特性在医学影像、基因组分析等标注成本高的领域有直接应用价值。
|
||||
|
||||
## 限制
|
||||
|
||||
- 超小样本高维场景（n ≪ p）：k-NN 图稀疏，曲率信号噪声大
|
||||
- 文本稀疏 bag-of-words 特征：k-NN 图几何结构弱
|
||||
- 当前仅被动采样，未扩展至主动学习
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[curvature-based-adaptive-sampling|CuBAS]]
|
||||
- [[potts-markov-random-field|Potts MRF]]
|
||||
- [[shape-operator|Shape Operator]]
|
||||
- [[maximum-pseudo-likelihood|MPL Estimation]]
|
||||
- [[observed-fisher-information|Observed Fisher Information]]
|
||||
- [[adaptive-threshold-estimation|Adaptive Threshold]]
|
||||
- [[low-curvature-high-curvature-decomposition|L/H Decomposition]]
|
||||
- [[statistical-manifold|Statistical Manifold]]
|
||||
- [[information-geometry|Information Geometry]]
|
||||
- [[fisher-information-metric|Fisher Information Metric]]
|
||||
|
||||
来源: [原始存档](raw/papers/Levada-CuBAS-curvature-adaptive-sampling-2026.md) | [arXiv](https://arxiv.org/abs/2607.03145) | [Code](https://github.com/alexandrelevada/CuBAS)
|
||||
72
papers/genception-video-vision-2026.md
Normal file
72
papers/genception-video-vision-2026.md
Normal file
@@ -0,0 +1,72 @@
|
||||
---
|
||||
title: "GenCeption — Video Generation as General-Purpose Vision Pre-training (ECCV 2026)"
|
||||
created: 2026-07-13
|
||||
updated: 2026-07-13
|
||||
type: paper
|
||||
tags: [computer-vision, video-generation, diffusion, pre-training, generalist-model]
|
||||
sources:
|
||||
- https://arxiv.org/abs/2607.09024
|
||||
- https://genception.github.io
|
||||
---
|
||||
|
||||
# GenCeption — Video Generation as General-Purpose Vision Pre-training
|
||||
|
||||
## 中文摘要
|
||||
|
||||
GenCeption 提出 **大规模文本到视频生成是计算机视觉的通用预训练范式**——就像 next-token prediction 之于 NLP。将预训练的视频扩散模型改造为单步前馈感知模型，通过文本指令驱动多种视觉任务（深度、法向、相机姿态、分割、3D 关键点），在统一架构下匹配甚至超越专用模型，且数据效率极高（7-500× 更少训练数据）。
|
||||
|
||||
## 核心洞察
|
||||
|
||||
NLP 通过 next-token prediction 实现了从专用模型到通用基础模型的范式转变。CV 仍停留在"专用模型"阶段（SAM 做分割、DepthAnything 做深度…）。GenCeption 的核心主张：**视频生成预训练就是 CV 的 next-token prediction 等价物**。
|
||||
|
||||
## 三大必要条件
|
||||
|
||||
[[three-imperatives-vision|通用视觉预训练三条件]]：
|
||||
1. **时空演化**（Spatio-Temporal Evolution）：世界是 4D 连续体，预训练目标必须迫使模型内化 4D 因果和物理
|
||||
2. **视觉-语言对齐**（Vision-Language Alignment）：视觉特征应与语言语义原生对齐
|
||||
3. **可规模化**（Scalability）：数据和计算可大规模扩展
|
||||
|
||||
## 方法论：从扩散生成到前馈感知
|
||||
|
||||
### [[feed-forward-diffusion|前馈扩散改造]]
|
||||
将多步迭代扩散 DiT 改造为单步前馈感知模型：
|
||||
- 输入改为干净视频 latent（非噪声）
|
||||
- 时间步固定 t=0
|
||||
- 取反 velocity 输出（Rectified Flow 的 v = ε - x₀ → -v = x₀ - ε）
|
||||
- 仅用最后一层特征，不做架构修改
|
||||
|
||||
### [[unified-task-representation|统一任务表示]]
|
||||
- **稠密任务**（深度/法向/分割/DensePose/相机）：全部映射到 3 通道 RGB 空间
|
||||
- **[[rothko-raymap|Rothko Raymap]]**：将 6 通道相机光线数据（旋转+平移）压缩为单张 3 通道图
|
||||
- **稀疏任务**（2D/3D 关键点）：通过 [[learnable-tokens-sparse|可学习 token]] 附加到视频 latent，MLP 解码
|
||||
|
||||
### [[data-driven-task-specification|数据驱动的任务规约]]
|
||||
任务规范从架构修改转移到数据格式设计——新增视觉能力不需改变架构或训练配方，仅需调整数据表示。
|
||||
|
||||
## 关键结果
|
||||
|
||||
| 能力 | 对标模型 | 数据效率 |
|
||||
|------|---------|----------|
|
||||
| 深度估计 | DepthAnything V3 | ~匹配 |
|
||||
| 分割 | SAM3 | ~匹配 |
|
||||
| 3D 姿态 | D4RT, VGGT-Ω | 7-500× 更少数据 |
|
||||
| 法向估计 | Sapiens | 超越 |
|
||||
| Sim-to-Real | — | 合成人→真实动物/机器人 |
|
||||
|
||||
## 涌现行为
|
||||
|
||||
仅用合成人类视频训练 → 泛化到真实视频、动物、机器人等 OOD 类别。这暗示视频生成预训练内化了**可迁移的通用视觉先验**。
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[video-generation-pretraining|视频生成预训练]]
|
||||
- [[feed-forward-diffusion|前馈扩散]]
|
||||
- [[unified-task-representation|统一任务表示]]
|
||||
- [[diffusion-as-feature-extractor|扩散特征提取]]
|
||||
- [[sim-to-real-transfer-vision|Sim-to-Real 迁移]]
|
||||
|
||||
## 来源
|
||||
|
||||
- [原始存档](raw/papers/genception-video-vision-2026.md)
|
||||
- arXiv: https://arxiv.org/abs/2607.09024
|
||||
- Project: https://genception.github.io
|
||||
82
papers/gid-sphere-2026.md
Normal file
82
papers/gid-sphere-2026.md
Normal file
@@ -0,0 +1,82 @@
|
||||
---
|
||||
title: "Geometric Information Decomposition for Weighted Empirical Measures on the Sphere"
|
||||
created: 2026-07-10
|
||||
updated: 2026-07-10
|
||||
type: paper
|
||||
tags: ["directional-statistics", "maximum-entropy", "information-geometry", "uncertainty-quantification", "spherical-data"]
|
||||
arxiv: "2607.02943"
|
||||
authors: ["Kisung You"]
|
||||
venue: "arXiv preprint"
|
||||
year: 2026
|
||||
sources: ["https://arxiv.org/abs/2607.02943"]
|
||||
---
|
||||
|
||||
# Geometric Information Decomposition (GID, 2026)
|
||||
|
||||
**Kisung You (Baruch College)** 提出了 **GID**——一种对球面上加权经验测度进行分层方向不确定性诊断的方法论框架。
|
||||
|
||||
## 核心问题
|
||||
|
||||
> 当数据是球面上的加权测度（注意力嵌入、重要性采样粒子、后验样本）时，如何全面表征其方向不确定性？
|
||||
|
||||
标准答案 vMF 的 κ̂ **仅捕获一阶（平均方向）信息**——对反极点、腰带、多模态结构完全盲化。
|
||||
|
||||
## GID 框架
|
||||
|
||||
```
|
||||
P̂_w = Σ w_i δ_{x_i} (加权经验测度, x_i ∈ S^{d-1})
|
||||
│
|
||||
▼
|
||||
嵌套最大熵投影 (V₀⊂V₁⊂V₂⊂...⊂V_L)
|
||||
│
|
||||
▼
|
||||
信息缺口剖面 (I₁, I₂, ..., I_L)
|
||||
│
|
||||
┌────┼────┬────┐
|
||||
▼ ▼ ▼ ▼
|
||||
vMF axial girdle multimodal
|
||||
```
|
||||
|
||||
## 三级对应
|
||||
|
||||
| 缺口 | 球谐度 | 方向分布族 | 解释 |
|
||||
|------|--------|-----------|------|
|
||||
| I₁ | 1 | von Mises-Fisher | 平均方向浓度 |
|
||||
| I₂ | 2 | Fisher-Bingham / Bingham | 轴性、反极点、腰带、椭圆度 |
|
||||
| I₃+ | ≥3 | 高阶指数族 | 多模态、精细角结构 |
|
||||
|
||||
## 理论保证
|
||||
|
||||
1. **不变性**：基无关 + 旋转不变（球谐完备度空间）
|
||||
2. **一致性**：Î_L → I_L(P)
|
||||
3. **渐近正态**（非零缺口）：Delta 法置信区间
|
||||
4. **零校准**（Theorem 8）：2a²_n Î_L ⇒ χ²_q —— 正式检验「是否需要更高级别」
|
||||
|
||||
## 信息几何根源
|
||||
|
||||
GID 的本质是 Amari 信息几何中**层次 KL 分解**和 Pythagorean 恒等式的球面特化：
|
||||
|
||||
```
|
||||
I_L(P) = KL(p^P_L ν ∥ p^P_{L-1} ν)
|
||||
D_L(P) = Σ_{ℓ=1}^L I_ℓ(P)
|
||||
```
|
||||
|
||||
嵌套指数族 → 最大熵投影间的信息距离 = 逐级熵缺口。
|
||||
|
||||
## 实验亮点
|
||||
|
||||
- S² 上的合成指纹：vMF → I₁ 最大；反极点/腰带 → I₂ 最大；四面体 → I₃ 最大
|
||||
- 有限样本 χ² 校准准确
|
||||
- Query-weighted MNIST digit embedding：注意力加权嵌入的方向不确定性诊断
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[geometric-information-decomposition|GID]]
|
||||
- [[entropy-deficit|Entropy Deficit]]
|
||||
- [[information-gap|Information Gap]]
|
||||
- [[maximum-entropy-projection|Maximum Entropy Projection]]
|
||||
- [[spherical-harmonic-features|Spherical Harmonic Features]]
|
||||
- [[directional-uncertainty-decomposition|Directional Uncertainty Decomposition]]
|
||||
- [[information-geometry|Information Geometry]]
|
||||
|
||||
来源: [原始存档](raw/papers/You-GID-sphere-2026.md) | [arXiv](https://arxiv.org/abs/2607.02943) | [Code](https://github.com/kisungyou/GeoInfoDec)
|
||||
76
papers/shared-concept-geometry-2026.md
Normal file
76
papers/shared-concept-geometry-2026.md
Normal file
@@ -0,0 +1,76 @@
|
||||
---
|
||||
title: "Language Models Represent and Transform Concepts with Shared Geometry"
|
||||
created: 2026-07-10
|
||||
updated: 2026-07-10
|
||||
type: paper
|
||||
tags: ["representation-learning", "conceptual-representation", "contextual-geometry", "vector-field", "cross-model-alignment"]
|
||||
arxiv: "2607.04525"
|
||||
authors: ["Zhimin Hu", "Lanhao Niu", "Sashank Varma"]
|
||||
venue: "ICML 2026"
|
||||
year: 2026
|
||||
sources: ["https://arxiv.org/abs/2607.04525"]
|
||||
---
|
||||
|
||||
# Concepts as Point-Cloud Manifolds with Shared Transformations (ICML 2026)
|
||||
|
||||
**Hu, Niu & Varma** 挑战了 LLM 中"概念 = 稳定向量"的主流范式。通过神经群体几何的形式化，他们证明概念是**点云流形**，上下文通过**向量场**作用——更重要的是，这些变换场的结构**跨模型共享**。
|
||||
|
||||
## 核心贡献
|
||||
|
||||
### 从静态到动态
|
||||
|
||||
```
|
||||
传统：概念 ≈ 固定向量 → steering = 沿单一方向移动
|
||||
↓
|
||||
Hu et al.：概念 ≈ 点云流形 X_w → 上下文变换 φ(w,τ) = r(w,τ) - r(w,τ₀)
|
||||
↓
|
||||
变换场 Φ_τ 的方差结构语义组织且跨模型共享
|
||||
```
|
||||
|
||||
### 双轴表征框架
|
||||
|
||||
| 轴 | 核矩阵 | 意义 |
|
||||
|-----|--------|------|
|
||||
| **Within-Concept** | K_w[i,j] = k(r(w,c_i), r(w,c_j)) | 概念跨上下文的灵活性 |
|
||||
| **Between-Concept** | K_τ[i,j] = k(r(w_i,τ), r(w_j,τ)) | 概念在共享上下文中的相对位置 |
|
||||
|
||||
## 三大发现
|
||||
|
||||
### 1. 变换场非均匀且语义组织
|
||||
|
||||
- 无单一方向主导：ρ₁ ∈ [0.07, 0.15]
|
||||
- **词汇密度高** → 位移幅度小（ρ = -0.22 ~ -0.32）
|
||||
- **概念具体性高** → 方向偏差小（ρ = -0.21 ~ -0.41）
|
||||
- 抽象概念因缺乏感知锚定，在语义框架间被推向更分散的方向
|
||||
|
||||
### 2. 概念结构跨模型共享
|
||||
|
||||
- Within-concept + Between-concept 关系的 CKA 显著高于基线
|
||||
- 对齐随模型能力（MMLU）单调递增
|
||||
- Pythia（旧代）对齐较弱
|
||||
|
||||
### 3. 变换场本身共享（核心贡献）
|
||||
|
||||
> 位移关系结构从模型 A 运送到模型 B，预测保留位移显著高于基线 —— 扭曲关系结构则降低预测。
|
||||
|
||||
不是语料重叠的表面伪影：打乱上下文破坏对齐；控制共现统计后仍保持。
|
||||
|
||||
## 对表示工程的意义
|
||||
|
||||
单向量 steering 将上下文变换近似为均匀平移 → **丢弃了语义上有意义的结构化残差**。更精确的干预应考虑每个概念的**个体变换几何**。
|
||||
|
||||
## 实验规模
|
||||
|
||||
- 23 模型 / 6 族（Qwen2.5、Llama、Mistral、Gemma2、DeepSeek、Pythia）
|
||||
- 0.5B–32B 参数
|
||||
- 5 种语义上下文模板（分类、感知、情境、情感、知识）
|
||||
- ~1000 词词汇（平衡具体性与密度）
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[concept-point-cloud-manifold|Point-Cloud Manifold]]
|
||||
- [[contextual-transformation-field|Contextual Transformation Field]]
|
||||
- [[within-concept-between-concept-axes|Two Axes]]
|
||||
- [[cross-model-concept-geometry|Cross-Model Geometry]]
|
||||
|
||||
来源: [原始存档](raw/papers/Hu-etal-concepts-shared-geometry-2026.md) | [arXiv](https://arxiv.org/abs/2607.04525)
|
||||
94
papers/smg-framework-2026.md
Normal file
94
papers/smg-framework-2026.md
Normal file
@@ -0,0 +1,94 @@
|
||||
---
|
||||
title: "Statistically Meaningful Geometry (SMG) Beyond the Euclidean Paradigm"
|
||||
created: 2026-07-10
|
||||
updated: 2026-07-10
|
||||
type: paper
|
||||
tags: ["information-geometry", "fiber-bundle", "hallucination", "catastrophic-forgetting", "differential-geometry", "over-parameterization"]
|
||||
arxiv: "2607.03329"
|
||||
authors: ["Bing Cheng", "Yi-Shuai Niu", "Howell Tong", "Shing-Tung Yau"]
|
||||
venue: "arXiv preprint"
|
||||
year: 2026
|
||||
sources: ["https://arxiv.org/abs/2607.03329"]
|
||||
---
|
||||
|
||||
# SMG: Statistically Meaningful Geometry (2026)
|
||||
|
||||
**Cheng, Niu, Tong & Yau** 提出了**统计意义几何（SMG）**——一个将过参数化模型的统计推断从平坦欧几里得容器升级为**无穷维非参数 Orlicz 统计纤维丛**的信息几何新范式。
|
||||
|
||||
## 核心问题
|
||||
|
||||
> 当万亿参数的 Transformer 面临"维数灾"时，经典统计的工具（AIC、一致收敛界、经验风险最小化）全面崩溃——优化景观出现平坦垂直规范谷，导致**生成幻觉**和**灾难性遗忘**。
|
||||
|
||||
SMG 的答案不是"减少参数"，而是**用微分几何将无穷维垂直规范空间与有限维水平统计信号正交隔离**。
|
||||
|
||||
## 架构总览
|
||||
|
||||
```
|
||||
Total Space M (∞-dim Orlicz 流形)
|
||||
╱ ╲
|
||||
Vertical Fiber F_p Horizontal H_f
|
||||
(SID, dim=∞) (SVDχ, dim=d)
|
||||
内部自由度/规范冗余 统计可验证方向
|
||||
│ │
|
||||
│ gf(Hf, Vf) = 0 │
|
||||
│ (Fisher-Rao 正交) │
|
||||
│ │
|
||||
└──────────────┬──────────────────┘
|
||||
│ π
|
||||
Base B (dim=d)
|
||||
可识别宏观统计轮廓
|
||||
```
|
||||
|
||||
## 四大公理 → 六元组
|
||||
|
||||
1. **System Set S** — 系统内部配置空间
|
||||
2. **Environment Set E** — 可测样本空间
|
||||
3. **Structural Mechanism F** — S → M 映射
|
||||
4. **Invariance Principle** — 纯 SID 内移动 = 零信息变化
|
||||
|
||||
→ 纤维丛 **BSMG = (M, B, π, V, H, ω)**
|
||||
|
||||
## 三大核心定理
|
||||
|
||||
| 定理 | 内容 | 工程含义 |
|
||||
|------|------|---------|
|
||||
| **Quarantining Theorem** | Tf M = Hf ⊕ Vf, gf(Hf, Vf)=0 | 规范噪声无法污染统计信号 |
|
||||
| **Capacity Collapse Theorem** | PAC-Bayes 界仅由 dim(B)=d 约束 | 无穷参数 ≠ 无穷复杂度 |
|
||||
| **SMG Sequential Flow** | Δ_new = P_orth(H_old)(∇loss) | 灾难性遗忘非渐近完全消除 |
|
||||
|
||||
## 与现有框架的边界
|
||||
|
||||
SMG 标题中的 "Beyond" 是严格的**拓扑划界**：
|
||||
|
||||
| | Classical Stats | Amari IG | ML Heuristics | **SMG** |
|
||||
|---|---|---|---|---|
|
||||
| 空间 | Rp | 有限维参数流形 | 经验权重空间 | **无穷维 Orlicz 纤维丛** |
|
||||
| 过参数化 | 崩溃 (AIC爆炸) | Fisher退化 | 黑箱经验 | **自然隔离 (SID)** |
|
||||
| 理论保证 | 低维有效 | 参数族内有效 | 无 | **非渐近完全** |
|
||||
|
||||
## 前向路线图
|
||||
|
||||
SMG 不是一篇"论文"——它是一套**新的数学基础设施**。作者在 Section 9 列出了三大革命性工程挑战和三大理论前沿：
|
||||
|
||||
1. **长上下文基础模型的绝对幻觉遏制**
|
||||
2. **无记忆擦除的连续适应**
|
||||
3. **多尺度基因组/蛋白质组序列流形**
|
||||
4. 随机 Ehresmann 滤子、动态基空间、与 [[singular-learning-theory|SLT]] 的桥接
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[statistically-meaningful-geometry|SMG]]
|
||||
- [[statistically-verifiable-directions|SVDχ]]
|
||||
- [[structural-internal-directions|SID]]
|
||||
- [[two-fold-inference-paradigm|Two-Fold Inference]]
|
||||
- [[ehresmann-connection-filtering|Ehresmann Connection]]
|
||||
- [[orlicz-statistical-manifold|Orlicz Statistical Manifold]]
|
||||
- [[quarantining-theorem|Quarantining Theorem]]
|
||||
- [[smg-sequential-adaptation-flow|Sequential Adaptation Flow]]
|
||||
- [[blessing-of-dimensionality|Blessing of Dimensionality]]
|
||||
- [[smg-fiber-bundle|SMG Fiber Bundle]]
|
||||
- [[information-geometry|Information Geometry]]
|
||||
- [[statistical-manifold|Statistical Manifold]]
|
||||
- [[fisher-information-metric|Fisher Information Metric]]
|
||||
|
||||
来源: [原始存档](raw/papers/Cheng-etal-SMG-2026.md) | [arXiv](https://arxiv.org/abs/2607.03329)
|
||||
Reference in New Issue
Block a user