This commit is contained in:
2026-07-20 14:14:55 +08:00
parent 24b006225b
commit ebb0e425ca
88 changed files with 3995 additions and 6 deletions

View File

@@ -0,0 +1,47 @@
---
title: "CuBAS Review — 信息几何曲率自适应采样"
created: 2026-07-10
updated: 2026-07-10
type: review
tags: ["adaptive-sampling", "information-geometry", "supervised-classification"]
sources: ["https://arxiv.org/abs/2607.03145"]
---
# CuBAS Review — 2026-07-10
📌 **基本信息**
- 论文CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification
- 作者Alexandre L. M. Levada (Federal University of São Carlos)
- 领域:统计机器学习 / 信息几何 / 自适应数据选择
- arXiv2607.03145v1 (Jul 3, 2026)
🎯 **核心概念**
1. **[[curvature-based-adaptive-sampling|CuBAS]]** — 曲率驱动的自适应采样算法:将监督分类的训练集筛选转化为统计流形上的几何推断问题
2. **[[potts-markov-random-field|Potts MRF]]** — q-state Potts 模型建模 k-NN 图上的标签交互:局部条件分布由逆温度 β 参数化
3. **[[observed-fisher-information|观测 Fisher 信息]]** — Φ_i一阶度量+ Ψ_i二阶曲率的封闭形式均从 Potts 充分统计量直接计算
4. **[[shape-operator|Shape Operator]]** — 一维 Potts 统计流形上退化为标量 S_i = -Ψ_i/Φ_i编码局部统计曲率
5. **[[adaptive-threshold-estimation|自适应阈值]]** — Otsu → Ashman's D (≥2.6) → Tukey-fence 三级级联
6. **[[low-curvature-high-curvature-decomposition|L/H 分解]]** — 低曲率(簇内部原型)+ 高曲率(决策边界),联合构成紧凑训练集
7. **[[maximum-pseudo-likelihood|MPL 估计]]** — 规避 Potts 配分函数,割线法超线性收敛
🔗 **概念网络**
- **核心连接**[[observed-fisher-information]] ↔ [[shape-operator]] ↔ [[curvature-based-adaptive-sampling]] ↔ [[low-curvature-high-curvature-decomposition]]
- **理论基础**[[statistical-manifold]] → [[information-geometry]] → [[fisher-information-metric]]
- **已有伞概念更新**3 个information-geometry、fisher-information-metric、statistical-manifold
- **新增概念**7 个
📚 **Wiki 集成**
- 新增页面8 个1 论文 + 7 概念)
- 核心概念平均链接数4.1
- 网络完整性100% 无孤立概念
💡 **关键洞察**
1. **样本信息量 = 统计流形曲率**CuBAS 将自适应的采样问题重新表述为一个几何问题——信息量大的样本天然处于统计曲率高处(决策边界),这种"几何 = 信息"的等价性是框架的核心优雅之处。
2. **模型无关 vs 分类器依赖**CuBAS 不需要预训练分类器估计不确定性——曲率直接从图拓扑和 Potts 统计量计算。这在极小训练预算下10%形成结构性优势Entropy 采样的 seed set 偏差导致不确定性信号不可靠,而 CuBAS 的曲率信号依赖的是全标记图的全局几何结构,固有免疫。
3. **数据效率的几何解释**CuBAS 在 10% 训练比例下超越 Entropy +13.5pp——这不只是"更好的采样",而是对训练集信息密度的根本性重构。同时保留低曲率原型(簇覆盖)和高曲率边界样本(判别力),使得小训练集具有"全谱"几何覆盖。

View File

@@ -0,0 +1,46 @@
---
title: "GID Review — 球面加权测度的几何信息分解"
created: 2026-07-10
updated: 2026-07-10
type: review
tags: ["directional-statistics", "maximum-entropy", "information-geometry"]
sources: ["https://arxiv.org/abs/2607.02943"]
---
# GID Review — 2026-07-10
📌 **基本信息**
- 论文Geometric Information Decomposition for Weighted Empirical Measures on the Sphere
- 作者Kisung You (Baruch College)
- 领域:方向统计 / 信息几何 / 不确定性量化
- arXiv2607.02943v1 (Jul 3, 2026)
- 代码github.com/kisungyou/GeoInfoDec
🎯 **核心概念**
1. **[[geometric-information-decomposition|GID]]** — 嵌套最大熵投影的信息缺口序列,替代单点 vMF 拟合
2. **[[entropy-deficit|Entropy Deficit]]** — D_L(P) = KL(p^P_L νν),第 L 级非均匀信息总量
3. **[[information-gap|Information Gap]]** — I_L(P) = D_L(P) - D_{L-1}(P),第 L 级新增的几何信息
4. **[[maximum-entropy-projection|Maximum Entropy Projection]]** — p_{L,m} = exp{λᵀφ_L - ψ(λ)},满足矩约束的最无结构密度
5. **[[spherical-harmonic-features|Spherical Harmonic Features]]** — 完备球谐度空间 V_L旋转不变
6. **[[directional-uncertainty-decomposition|Directional Uncertainty Decomposition]]** — 加权球面测度的分层不确定性诊断
🔗 **概念网络**
- **核心三角**[[maximum-entropy-projection]] → [[entropy-deficit]] → [[information-gap]]
- **数学基础**[[information-geometry]]Pythagorean / 层次 KL 分解)
- **方向统计**vMF (I₁) → Fisher-Bingham (I₂) → 高阶球谐 (I₃+)
📚 **Wiki 集成**
- 新增页面7 个1 论文 + 6 概念)
- 核心概念平均链接数3.8
- 桥接到已有 [[information-geometry]]
💡 **关键洞察**
1. **κ̂ 的盲区被正式化了**vMF 不是"不准确"——它是**一阶完备的**(在 V₁ 特征空间内是最优最大熵投影)。问题在于 V₁ 的维度决定了它不可能"看见"反极点、腰带或多模态。GID 的贡献不是改进 vMF而是将整个问题提升为**层级诊断**。
2. **零校准Theorem 8是其方法论核心**:大多数"添加更多特征"的方法缺少正式的停止准则。GID 通过二阶 χ² 校准提供了**统计上严格的方式**决定是否需要更高级别——第一阶导数在 I_L=0 时消失,标准 Wald 检验不可用。这是 Delta 法 + 二阶展开 + Schur 补矩阵构造的精确组合。
3. **与信息几何的深层连接**GID 表面上是方向统计方法,但其数学根源是 Amari 的嵌套指数族和 Csiszar 的信息投影。D_L 和 I_L 之间的 KL 关系是 Pythagorean 定理的层级版本——这篇论文将信息几何的数学基础设施转化为工程上可用的**不确定性剖面**。

View File

@@ -0,0 +1,52 @@
---
title: "SMG Review — 统计意义几何:超越欧几里得范式"
created: 2026-07-10
updated: 2026-07-10
type: review
tags: ["information-geometry", "fiber-bundle", "hallucination", "catastrophic-forgetting"]
sources: ["https://arxiv.org/abs/2607.03329"]
---
# SMG Review — 2026-07-10
📌 **基本信息**
- 论文Statistically Meaningful Geometry (SMG) Beyond the Euclidean Paradigm, with Application to Generative AI
- 作者Bing Cheng (CAS), Yi-Shuai Niu (BIMSA), Howell Tong (LSE/Tsinghua), **Shing-Tung Yau** (BIMSA/Tsinghua)
- 领域:无穷维信息几何 / 纤维丛拓扑 / 过参数化深度学习理论
- arXiv2607.03329v1 (Jul 3, 2026)
🎯 **核心概念**
1. **[[statistically-meaningful-geometry|SMG]]** — 将过参数化系统的统计推断从平坦欧几里得容器升级为无穷维 Orlicz 纤维丛
2. **[[statistically-verifiable-directions|SVDχ]]** — 水平切子空间,参数变化产生非零 Fisher 方差的方向dim = d
3. **[[structural-internal-directions|SID]]** — 垂直切子空间不改变宏观概率分布的方向dim = ∞)
4. **[[two-fold-inference-paradigm|Two-Fold Inference]]** — 水平(经典统计 MLE/Bayes+ 垂直(纯微分拓扑连接过滤)正交分裂
5. **[[ehresmann-connection-filtering|Ehresmann 联络]]** — 梯度分解 P_H(∇f) + P_V(∇f),剥离 SID 噪声
6. **[[orlicz-statistical-manifold|Orlicz 统计流形]]** — Pistone-Sempi 构造,无穷维非参数总空间
7. **[[quarantining-theorem|Quarantining Theorem]]** — Fisher-Rao 正交直和 + OOD 预测方差 ≤ diam(B) <
8. **[[smg-sequential-adaptation-flow|序列适应流]]** — 通过正交投影非渐近消除灾难性遗忘
9. **[[blessing-of-dimensionality|Blessing of Dimensionality]]** — 极限维度 = 拓扑润滑剂,不是统计病理
10. **[[smg-fiber-bundle|SMG 纤维丛]]** — 六元组 (M, B, π, V, H, ω),无 Lie 群假设
🔗 **概念网络**
- **核心三角**[[quarantining-theorem]] ↔ [[smg-sequential-adaptation-flow]] ↔ [[blessing-of-dimensionality]]
- **几何基础设施**[[orlicz-statistical-manifold]] → [[smg-fiber-bundle]] → [[ehresmann-connection-filtering]]
- **统计操作层**[[statistically-verifiable-directions|SVDχ]] ↔ [[structural-internal-directions|SID]] 经 [[two-fold-inference-paradigm|Two-Fold]] 合成
- **桥接已有 wiki 概念**[[information-geometry]]、[[statistical-manifold]]、[[fisher-information-metric]]、[[dead-direction]]、[[singular-learning-theory]]
📚 **Wiki 集成**
- 新增页面11 个1 论文 + 10 概念)
- 核心概念平均交叉引用4.3
- 与已有概念网络的桥接点:[[information-geometry]](有限维→∞维)、[[dead-direction]]Fisher退化方向→SID
💡 **关键洞察**
1. **"Beyond" 不是修辞——是拓扑划界**SMG 在三个轴上明确证明其超越性:(a) 经典统计的平坦容器假设、(b) Amari 信息几何的有限参数化限制、(c) 机器学习经验试探的无几何根基。这篇论文可以被读作"信息几何从有限维到无穷维的 Grothendieck 式升级"。
2. **丘成桐的微分几何工具箱直接应用于深度学习危机**Ehresmann 联络、Orlicz 空间、Frobenius 可积性——这些工具传统上属于规范场论和弦理论。SMG 将它们用于解决 AI 最实际的工程问题(幻觉、遗忘),且给出了**非渐近完全**的定理保证。
3. **"Blessing of Dimensionality" 是最激进的哲学翻转**经典统计将高维视为诅咒SMG 证明它是强制性拓扑条件——没有无穷维垂直纤维吸收噪声,低维 SVDχ 水平子空间根本无法结晶化。这是对 Occam 剃刀的几何重新诠释:不是参数少好,而是**参数被正确地拓扑隔离**好。
4. **SID 与 Dead Direction 的互补视角**SLT 的 Dead Direction 是 Fisher 退化的分析描述KL 阶编码SMG 的 SID 是同一现象的拓扑操作化——将退化方向明确隔离为垂直纤维并用联络动态过滤。两者可以桥接Section 9.2.3 明确提出了与 [[singular-learning-theory|SLT]] 的融合方向)。

View File

@@ -0,0 +1,41 @@
---
title: "Shared Concept Geometry Review — LLM 概念表示与变换的共享几何"
created: 2026-07-10
updated: 2026-07-10
type: review
tags: ["representation-learning", "conceptual-representation", "icml-2026"]
sources: ["https://arxiv.org/abs/2607.04525"]
---
# Shared Concept Geometry Review — 2026-07-10
📌 **基本信息**
- 论文Language Models Represent and Transform Concepts with Shared Geometry
- 作者Zhimin Hu, Lanhao Niu, Sashank Varma (Georgia Tech / U. Edinburgh)
- 会议ICML 2026, Seoul
- arXiv2607.04525v1 (Jul 5, 2026)
🎯 **核心概念**
1. **[[concept-point-cloud-manifold|概念点云流形]]** — 概念不是静态向量,而是跨上下文实例的经验采样分布
2. **[[contextual-transformation-field|上下文变换场]]** — Φ_τ: W → M将上下文作用形式化为向量场
3. **[[within-concept-between-concept-axes|双轴表征]]** — 概念内(跨上下文形状)+ 概念间(共享上下文内关系)
4. **[[cross-model-concept-geometry|跨模型共享几何]]** — CKA + Grassmann 距离 + permutation calibration
🔗 **概念网络**
- **核心发现链**[[concept-point-cloud-manifold|点云]] → [[contextual-transformation-field|变换场]] → [[cross-model-concept-geometry|跨模型对齐]]
- **测量轴**[[within-concept-between-concept-axes|Within/Between]] 双轴互补
📚 **Wiki 集成**
- 新增页面6 个1 论文 + 5 概念)
- 与已有概念网络:表示学习 / 神经群体几何 / 可解释性方向
💡 **关键洞察**
1. **"概念是分布不是向量"不是修辞——是方法论宣言**Hu et al. 从神经群体几何借来的视角意味着概念的"表示"本质上是概率分布 P_w。上下文不是"扰动"静态向量,而是从 P_w 中采样。这一视角转换使单向量 steering 的局限性从近似误差变为**结构性信息丢失**。
2. **变换场的共享是最惊人的发现**已有工作Huh et al. 2024表明概念向量跨模型对齐。Hu et al. 进一步发现**概念如何被上下文移动**也跨模型共享。这意味着不同架构/规模的 LLM 不仅收敛到相似的概念空间,而且收敛到相似的**概念动态**——这暗示着存在某种超越具体参数化的"普适概念力学"。
3. **对认知科学的桥接**:论文明确将结果连接到认知科学中"概念如何同时稳定又灵活"的长期难题。答案概念间关系between-concept跨上下文保持稳定 → 稳定性;每个概念在上下文间以语义组织的方式移动 → 灵活性。这个"关系稳定 + 绝对位置灵活"的图景是一个优雅的几何解决方案。

View File

@@ -0,0 +1,44 @@
---
title: "Agent Harness Survey Review"
created: 2026-07-13
type: review
paper: "agent-harness-survey-2026"
---
# Agent Harness Survey — Review
📌 **基本信息**
- 论文From Question Answering to Task Completion: A Survey on Agent System and Harness Design
- arXiv: 2606.20683
- 发表2026-06-14
- 领域cs.AI / cs.CL
- 来源CityU HK, U Sydney, PKU, TokenRhythm
- 仓库github.com/ggjy/Awesome-Agent-Engineering
🎯 **核心概念**
1. **[[model-harness-lens|模型-脚手架透镜]]** — Agent = ⟨M, H⟩ 的形式化定义,将性能瓶颈定位到模型与脚手架的交互而非模型能力本身
2. **[[four-paradigms-agent-engineering|四范式演化]]** — Prompt → Context → Harness → Agent-Native Training每阶段因前阶段局限而涌现
3. **[[harness-six-components|脚手架六组件解耦]]** — I_obs, C, L, I_act, S, V 的操作性分解,解释固定模型下性能差异
4. **[[cross-layer-interaction|跨层耦合]]** — 六组件非独立,优化一层可能将风险转移到其他层
5. **[[model-harness-coevolution|协同演化]]** — Phase 4 的三层区分:多模型/可学习/协同演化
🔗 **概念网络**
- **核心连接**[[execution-harness|执行脚手架]] ↔ [[harness-engineering|脚手架工程]] ↔ [[agent-native-training|Agent 原生训练]]
- **六组件网络**I_obs → C → L → I_act → S → V每个与前后的耦合形成链式依赖
- **已有概念增强**:更新 [[execution-harness]], [[agent-harness]], [[harness-engineering]],追加论文引用
- **与 sz 研究方向对齐**SkillOptPhase 3 learnable harness、记忆系统S 组件、MCP 工具选择I_act、AtlasPhase 2 context
📚 **Wiki 集成**
- 新增页面17 个1 paper + 14 核心概念 + 2 辅助概念)
- 已有概念更新3 个execution-harness, agent-harness, harness-engineering
- 概念网络密度:核心概念平均 4.5 个交叉引用
- 100% 断链验证:待完成
💡 **关键洞察**
1. **瓶颈迁移是 Agent 工程的核心叙事**——从"模型不够强"到"脚手架设计不够好"到"模型和脚手架如何协同演化",每次瓶颈转移都重新定义什么是最优工程实践。
2. **脚手架正在从工程细节变为第一类设计对象**——正如 prompt 从手工编写到自动优化,脚手架策略正从手工设计走向搜索驱动、轨迹驱动的自动优化。这对 sz 的 SkillOpt 项目有直接启发skill 可以是 learnable harness 的一种实现形式。
3. **六组件耦合性意味着"局部优化"可能有害**——例如更强的上下文压缩降低成本但削弱下游验证,这与 sz 的 "harness 多维度约束拆分" 设计方向高度共振。

View File

@@ -0,0 +1,38 @@
---
title: "GenCeption Review"
created: 2026-07-13
type: review
paper: "genception-video-vision-2026"
---
# GenCeption Review — Video Generation as General-Purpose Vision Pre-training
📌 **基本信息**
- 论文Video Generation Models are General-Purpose Vision Learners
- arXiv: 2607.09024
- 发表2026-07-10ECCV 2026
- 作者Google DeepMind + Toronto + UCL + Oxford + MIT + Lund
- 项目genception.github.io
🎯 **核心概念**
1. **[[video-generation-pretraining|视频生成预训练]]** — CV 的"next-token prediction 等价物",同时满足时空+VL+规模化三条件
2. **[[feed-forward-diffusion|前馈扩散]]** — 将多步迭代 DiT 改造为单步感知模型t=0 + velocity 取反)
3. **[[unified-task-representation|统一任务表示]]** — 所有稠密任务映射到 3 通道 RGB稀疏任务通过 [[learnable-tokens-sparse|可学习 token]]
4. **[[three-imperatives-vision|通用视觉三条件]]** — 统一评估预训练范式的分析框架
5. **[[data-driven-task-specification|数据驱动任务规约]]** — 架构固定,任务差异仅体现在数据格式
🔗 **概念网络**
- **核心连接**:视频生成预训练 → 前馈扩散 → 统一表示 → 数据驱动规约
- **工具概念**[[rothko-raymap|Rothko Raymap]]相机光线→RGB、[[diffusion-as-feature-extractor|扩散特征提取]]DiT→feature extractor
- **涌现现象**[[sim-to-real-transfer-vision|Sim-to-Real 迁移]](合成人→真实动物/机器人)
📚 **Wiki 集成**
- 新增页面10 个1 paper + 8 核心概念 + 1 辅助 + 1 review
- 纯 CV 领域新概念,与现有 Agent 知识网络无明显交叉
💡 **关键洞察**
1. **NLP 的 next-token prediction → CV 的 video generation**:这是理论上的对称类比,但实践上有力的证据——视频生成天然内化时空+VL+规模化
2. **"Everything is a pixel map"**:与 LLM 的 "everything is a string" 同构的设计哲学——统一表示空间是 scaling 的关键
3. **Sim-to-real 零样本泛化**7,500 段合成人视频 → 理解动物/机器人的 3D 结构,暗示视频生成学到的远不止表面外观