20260720
This commit is contained in:
47
reviews/CuBAS-review-20260710.md
Normal file
47
reviews/CuBAS-review-20260710.md
Normal file
@@ -0,0 +1,47 @@
|
||||
---
|
||||
title: "CuBAS Review — 信息几何曲率自适应采样"
|
||||
created: 2026-07-10
|
||||
updated: 2026-07-10
|
||||
type: review
|
||||
tags: ["adaptive-sampling", "information-geometry", "supervised-classification"]
|
||||
sources: ["https://arxiv.org/abs/2607.03145"]
|
||||
---
|
||||
|
||||
# CuBAS Review — 2026-07-10
|
||||
|
||||
📌 **基本信息**
|
||||
- 论文:CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification
|
||||
- 作者:Alexandre L. M. Levada (Federal University of São Carlos)
|
||||
- 领域:统计机器学习 / 信息几何 / 自适应数据选择
|
||||
- arXiv:2607.03145v1 (Jul 3, 2026)
|
||||
|
||||
🎯 **核心概念**
|
||||
|
||||
1. **[[curvature-based-adaptive-sampling|CuBAS]]** — 曲率驱动的自适应采样算法:将监督分类的训练集筛选转化为统计流形上的几何推断问题
|
||||
2. **[[potts-markov-random-field|Potts MRF]]** — q-state Potts 模型建模 k-NN 图上的标签交互:局部条件分布由逆温度 β 参数化
|
||||
3. **[[observed-fisher-information|观测 Fisher 信息]]** — Φ_i(一阶,度量)+ Ψ_i(二阶,曲率)的封闭形式,均从 Potts 充分统计量直接计算
|
||||
4. **[[shape-operator|Shape Operator]]** — 一维 Potts 统计流形上退化为标量 S_i = -Ψ_i/Φ_i,编码局部统计曲率
|
||||
5. **[[adaptive-threshold-estimation|自适应阈值]]** — Otsu → Ashman's D (≥2.6) → Tukey-fence 三级级联
|
||||
6. **[[low-curvature-high-curvature-decomposition|L/H 分解]]** — 低曲率(簇内部原型)+ 高曲率(决策边界),联合构成紧凑训练集
|
||||
7. **[[maximum-pseudo-likelihood|MPL 估计]]** — 规避 Potts 配分函数,割线法超线性收敛
|
||||
|
||||
🔗 **概念网络**
|
||||
|
||||
- **核心连接**:[[observed-fisher-information]] ↔ [[shape-operator]] ↔ [[curvature-based-adaptive-sampling]] ↔ [[low-curvature-high-curvature-decomposition]]
|
||||
- **理论基础**:[[statistical-manifold]] → [[information-geometry]] → [[fisher-information-metric]]
|
||||
- **已有伞概念更新**:3 个(information-geometry、fisher-information-metric、statistical-manifold)
|
||||
- **新增概念**:7 个
|
||||
|
||||
📚 **Wiki 集成**
|
||||
|
||||
- 新增页面:8 个(1 论文 + 7 概念)
|
||||
- 核心概念平均链接数:4.1
|
||||
- 网络完整性:100% 无孤立概念
|
||||
|
||||
💡 **关键洞察**
|
||||
|
||||
1. **样本信息量 = 统计流形曲率**:CuBAS 将自适应的采样问题重新表述为一个几何问题——信息量大的样本天然处于统计曲率高处(决策边界),这种"几何 = 信息"的等价性是框架的核心优雅之处。
|
||||
|
||||
2. **模型无关 vs 分类器依赖**:CuBAS 不需要预训练分类器估计不确定性——曲率直接从图拓扑和 Potts 统计量计算。这在极小训练预算下(10%)形成结构性优势:Entropy 采样的 seed set 偏差导致不确定性信号不可靠,而 CuBAS 的曲率信号依赖的是全标记图的全局几何结构,固有免疫。
|
||||
|
||||
3. **数据效率的几何解释**:CuBAS 在 10% 训练比例下超越 Entropy +13.5pp——这不只是"更好的采样",而是对训练集信息密度的根本性重构。同时保留低曲率原型(簇覆盖)和高曲率边界样本(判别力),使得小训练集具有"全谱"几何覆盖。
|
||||
46
reviews/GID-review-20260710.md
Normal file
46
reviews/GID-review-20260710.md
Normal file
@@ -0,0 +1,46 @@
|
||||
---
|
||||
title: "GID Review — 球面加权测度的几何信息分解"
|
||||
created: 2026-07-10
|
||||
updated: 2026-07-10
|
||||
type: review
|
||||
tags: ["directional-statistics", "maximum-entropy", "information-geometry"]
|
||||
sources: ["https://arxiv.org/abs/2607.02943"]
|
||||
---
|
||||
|
||||
# GID Review — 2026-07-10
|
||||
|
||||
📌 **基本信息**
|
||||
- 论文:Geometric Information Decomposition for Weighted Empirical Measures on the Sphere
|
||||
- 作者:Kisung You (Baruch College)
|
||||
- 领域:方向统计 / 信息几何 / 不确定性量化
|
||||
- arXiv:2607.02943v1 (Jul 3, 2026)
|
||||
- 代码:github.com/kisungyou/GeoInfoDec
|
||||
|
||||
🎯 **核心概念**
|
||||
|
||||
1. **[[geometric-information-decomposition|GID]]** — 嵌套最大熵投影的信息缺口序列,替代单点 vMF 拟合
|
||||
2. **[[entropy-deficit|Entropy Deficit]]** — D_L(P) = KL(p^P_L ν ∥ ν),第 L 级非均匀信息总量
|
||||
3. **[[information-gap|Information Gap]]** — I_L(P) = D_L(P) - D_{L-1}(P),第 L 级新增的几何信息
|
||||
4. **[[maximum-entropy-projection|Maximum Entropy Projection]]** — p_{L,m} = exp{λᵀφ_L - ψ(λ)},满足矩约束的最无结构密度
|
||||
5. **[[spherical-harmonic-features|Spherical Harmonic Features]]** — 完备球谐度空间 V_L,旋转不变
|
||||
6. **[[directional-uncertainty-decomposition|Directional Uncertainty Decomposition]]** — 加权球面测度的分层不确定性诊断
|
||||
|
||||
🔗 **概念网络**
|
||||
|
||||
- **核心三角**:[[maximum-entropy-projection]] → [[entropy-deficit]] → [[information-gap]]
|
||||
- **数学基础**:[[information-geometry]](Pythagorean / 层次 KL 分解)
|
||||
- **方向统计**:vMF (I₁) → Fisher-Bingham (I₂) → 高阶球谐 (I₃+)
|
||||
|
||||
📚 **Wiki 集成**
|
||||
|
||||
- 新增页面:7 个(1 论文 + 6 概念)
|
||||
- 核心概念平均链接数:3.8
|
||||
- 桥接到已有 [[information-geometry]]
|
||||
|
||||
💡 **关键洞察**
|
||||
|
||||
1. **κ̂ 的盲区被正式化了**:vMF 不是"不准确"——它是**一阶完备的**(在 V₁ 特征空间内是最优最大熵投影)。问题在于 V₁ 的维度决定了它不可能"看见"反极点、腰带或多模态。GID 的贡献不是改进 vMF,而是将整个问题提升为**层级诊断**。
|
||||
|
||||
2. **零校准(Theorem 8)是其方法论核心**:大多数"添加更多特征"的方法缺少正式的停止准则。GID 通过二阶 χ² 校准提供了**统计上严格的方式**决定是否需要更高级别——第一阶导数在 I_L=0 时消失,标准 Wald 检验不可用。这是 Delta 法 + 二阶展开 + Schur 补矩阵构造的精确组合。
|
||||
|
||||
3. **与信息几何的深层连接**:GID 表面上是方向统计方法,但其数学根源是 Amari 的嵌套指数族和 Csiszar 的信息投影。D_L 和 I_L 之间的 KL 关系是 Pythagorean 定理的层级版本——这篇论文将信息几何的数学基础设施转化为工程上可用的**不确定性剖面**。
|
||||
52
reviews/SMG-review-20260710.md
Normal file
52
reviews/SMG-review-20260710.md
Normal file
@@ -0,0 +1,52 @@
|
||||
---
|
||||
title: "SMG Review — 统计意义几何:超越欧几里得范式"
|
||||
created: 2026-07-10
|
||||
updated: 2026-07-10
|
||||
type: review
|
||||
tags: ["information-geometry", "fiber-bundle", "hallucination", "catastrophic-forgetting"]
|
||||
sources: ["https://arxiv.org/abs/2607.03329"]
|
||||
---
|
||||
|
||||
# SMG Review — 2026-07-10
|
||||
|
||||
📌 **基本信息**
|
||||
- 论文:Statistically Meaningful Geometry (SMG) Beyond the Euclidean Paradigm, with Application to Generative AI
|
||||
- 作者:Bing Cheng (CAS), Yi-Shuai Niu (BIMSA), Howell Tong (LSE/Tsinghua), **Shing-Tung Yau** (BIMSA/Tsinghua)
|
||||
- 领域:无穷维信息几何 / 纤维丛拓扑 / 过参数化深度学习理论
|
||||
- arXiv:2607.03329v1 (Jul 3, 2026)
|
||||
|
||||
🎯 **核心概念**
|
||||
|
||||
1. **[[statistically-meaningful-geometry|SMG]]** — 将过参数化系统的统计推断从平坦欧几里得容器升级为无穷维 Orlicz 纤维丛
|
||||
2. **[[statistically-verifiable-directions|SVDχ]]** — 水平切子空间,参数变化产生非零 Fisher 方差的方向(dim = d)
|
||||
3. **[[structural-internal-directions|SID]]** — 垂直切子空间,不改变宏观概率分布的方向(dim = ∞)
|
||||
4. **[[two-fold-inference-paradigm|Two-Fold Inference]]** — 水平(经典统计 MLE/Bayes)+ 垂直(纯微分拓扑连接过滤)正交分裂
|
||||
5. **[[ehresmann-connection-filtering|Ehresmann 联络]]** — 梯度分解 P_H(∇f) + P_V(∇f),剥离 SID 噪声
|
||||
6. **[[orlicz-statistical-manifold|Orlicz 统计流形]]** — Pistone-Sempi 构造,无穷维非参数总空间
|
||||
7. **[[quarantining-theorem|Quarantining Theorem]]** — Fisher-Rao 正交直和 + OOD 预测方差 ≤ diam(B) < ∞
|
||||
8. **[[smg-sequential-adaptation-flow|序列适应流]]** — 通过正交投影非渐近消除灾难性遗忘
|
||||
9. **[[blessing-of-dimensionality|Blessing of Dimensionality]]** — 极限维度 = 拓扑润滑剂,不是统计病理
|
||||
10. **[[smg-fiber-bundle|SMG 纤维丛]]** — 六元组 (M, B, π, V, H, ω),无 Lie 群假设
|
||||
|
||||
🔗 **概念网络**
|
||||
|
||||
- **核心三角**:[[quarantining-theorem]] ↔ [[smg-sequential-adaptation-flow]] ↔ [[blessing-of-dimensionality]]
|
||||
- **几何基础设施**:[[orlicz-statistical-manifold]] → [[smg-fiber-bundle]] → [[ehresmann-connection-filtering]]
|
||||
- **统计操作层**:[[statistically-verifiable-directions|SVDχ]] ↔ [[structural-internal-directions|SID]] 经 [[two-fold-inference-paradigm|Two-Fold]] 合成
|
||||
- **桥接已有 wiki 概念**:[[information-geometry]]、[[statistical-manifold]]、[[fisher-information-metric]]、[[dead-direction]]、[[singular-learning-theory]]
|
||||
|
||||
📚 **Wiki 集成**
|
||||
|
||||
- 新增页面:11 个(1 论文 + 10 概念)
|
||||
- 核心概念平均交叉引用:4.3
|
||||
- 与已有概念网络的桥接点:[[information-geometry]](有限维→∞维)、[[dead-direction]](Fisher退化方向→SID)
|
||||
|
||||
💡 **关键洞察**
|
||||
|
||||
1. **"Beyond" 不是修辞——是拓扑划界**:SMG 在三个轴上明确证明其超越性:(a) 经典统计的平坦容器假设、(b) Amari 信息几何的有限参数化限制、(c) 机器学习经验试探的无几何根基。这篇论文可以被读作"信息几何从有限维到无穷维的 Grothendieck 式升级"。
|
||||
|
||||
2. **丘成桐的微分几何工具箱直接应用于深度学习危机**:Ehresmann 联络、Orlicz 空间、Frobenius 可积性——这些工具传统上属于规范场论和弦理论。SMG 将它们用于解决 AI 最实际的工程问题(幻觉、遗忘),且给出了**非渐近完全**的定理保证。
|
||||
|
||||
3. **"Blessing of Dimensionality" 是最激进的哲学翻转**:经典统计将高维视为诅咒,SMG 证明它是强制性拓扑条件——没有无穷维垂直纤维吸收噪声,低维 SVDχ 水平子空间根本无法结晶化。这是对 Occam 剃刀的几何重新诠释:不是参数少好,而是**参数被正确地拓扑隔离**好。
|
||||
|
||||
4. **SID 与 Dead Direction 的互补视角**:SLT 的 Dead Direction 是 Fisher 退化的分析描述(KL 阶编码),SMG 的 SID 是同一现象的拓扑操作化——将退化方向明确隔离为垂直纤维,并用联络动态过滤。两者可以桥接(Section 9.2.3 明确提出了与 [[singular-learning-theory|SLT]] 的融合方向)。
|
||||
41
reviews/SharedConceptGeometry-review-20260710.md
Normal file
41
reviews/SharedConceptGeometry-review-20260710.md
Normal file
@@ -0,0 +1,41 @@
|
||||
---
|
||||
title: "Shared Concept Geometry Review — LLM 概念表示与变换的共享几何"
|
||||
created: 2026-07-10
|
||||
updated: 2026-07-10
|
||||
type: review
|
||||
tags: ["representation-learning", "conceptual-representation", "icml-2026"]
|
||||
sources: ["https://arxiv.org/abs/2607.04525"]
|
||||
---
|
||||
|
||||
# Shared Concept Geometry Review — 2026-07-10
|
||||
|
||||
📌 **基本信息**
|
||||
- 论文:Language Models Represent and Transform Concepts with Shared Geometry
|
||||
- 作者:Zhimin Hu, Lanhao Niu, Sashank Varma (Georgia Tech / U. Edinburgh)
|
||||
- 会议:ICML 2026, Seoul
|
||||
- arXiv:2607.04525v1 (Jul 5, 2026)
|
||||
|
||||
🎯 **核心概念**
|
||||
|
||||
1. **[[concept-point-cloud-manifold|概念点云流形]]** — 概念不是静态向量,而是跨上下文实例的经验采样分布
|
||||
2. **[[contextual-transformation-field|上下文变换场]]** — Φ_τ: W → M,将上下文作用形式化为向量场
|
||||
3. **[[within-concept-between-concept-axes|双轴表征]]** — 概念内(跨上下文形状)+ 概念间(共享上下文内关系)
|
||||
4. **[[cross-model-concept-geometry|跨模型共享几何]]** — CKA + Grassmann 距离 + permutation calibration
|
||||
|
||||
🔗 **概念网络**
|
||||
|
||||
- **核心发现链**:[[concept-point-cloud-manifold|点云]] → [[contextual-transformation-field|变换场]] → [[cross-model-concept-geometry|跨模型对齐]]
|
||||
- **测量轴**:[[within-concept-between-concept-axes|Within/Between]] 双轴互补
|
||||
|
||||
📚 **Wiki 集成**
|
||||
|
||||
- 新增页面:6 个(1 论文 + 5 概念)
|
||||
- 与已有概念网络:表示学习 / 神经群体几何 / 可解释性方向
|
||||
|
||||
💡 **关键洞察**
|
||||
|
||||
1. **"概念是分布不是向量"不是修辞——是方法论宣言**:Hu et al. 从神经群体几何借来的视角意味着概念的"表示"本质上是概率分布 P_w。上下文不是"扰动"静态向量,而是从 P_w 中采样。这一视角转换使单向量 steering 的局限性从近似误差变为**结构性信息丢失**。
|
||||
|
||||
2. **变换场的共享是最惊人的发现**:已有工作(Huh et al. 2024)表明概念向量跨模型对齐。Hu et al. 进一步发现**概念如何被上下文移动**也跨模型共享。这意味着不同架构/规模的 LLM 不仅收敛到相似的概念空间,而且收敛到相似的**概念动态**——这暗示着存在某种超越具体参数化的"普适概念力学"。
|
||||
|
||||
3. **对认知科学的桥接**:论文明确将结果连接到认知科学中"概念如何同时稳定又灵活"的长期难题。答案:概念间关系(between-concept)跨上下文保持稳定 → 稳定性;每个概念在上下文间以语义组织的方式移动 → 灵活性。这个"关系稳定 + 绝对位置灵活"的图景是一个优雅的几何解决方案。
|
||||
44
reviews/agent-harness-survey-review-20260713.md
Normal file
44
reviews/agent-harness-survey-review-20260713.md
Normal file
@@ -0,0 +1,44 @@
|
||||
---
|
||||
title: "Agent Harness Survey Review"
|
||||
created: 2026-07-13
|
||||
type: review
|
||||
paper: "agent-harness-survey-2026"
|
||||
---
|
||||
|
||||
# Agent Harness Survey — Review
|
||||
|
||||
📌 **基本信息**
|
||||
- 论文:From Question Answering to Task Completion: A Survey on Agent System and Harness Design
|
||||
- arXiv: 2606.20683
|
||||
- 发表:2026-06-14
|
||||
- 领域:cs.AI / cs.CL
|
||||
- 来源:CityU HK, U Sydney, PKU, TokenRhythm
|
||||
- 仓库:github.com/ggjy/Awesome-Agent-Engineering
|
||||
|
||||
🎯 **核心概念**
|
||||
|
||||
1. **[[model-harness-lens|模型-脚手架透镜]]** — Agent = ⟨M, H⟩ 的形式化定义,将性能瓶颈定位到模型与脚手架的交互而非模型能力本身
|
||||
2. **[[four-paradigms-agent-engineering|四范式演化]]** — Prompt → Context → Harness → Agent-Native Training,每阶段因前阶段局限而涌现
|
||||
3. **[[harness-six-components|脚手架六组件解耦]]** — I_obs, C, L, I_act, S, V 的操作性分解,解释固定模型下性能差异
|
||||
4. **[[cross-layer-interaction|跨层耦合]]** — 六组件非独立,优化一层可能将风险转移到其他层
|
||||
5. **[[model-harness-coevolution|协同演化]]** — Phase 4 的三层区分:多模型/可学习/协同演化
|
||||
|
||||
🔗 **概念网络**
|
||||
- **核心连接**:[[execution-harness|执行脚手架]] ↔ [[harness-engineering|脚手架工程]] ↔ [[agent-native-training|Agent 原生训练]]
|
||||
- **六组件网络**:I_obs → C → L → I_act → S → V,每个与前后的耦合形成链式依赖
|
||||
- **已有概念增强**:更新 [[execution-harness]], [[agent-harness]], [[harness-engineering]],追加论文引用
|
||||
- **与 sz 研究方向对齐**:SkillOpt(Phase 3 learnable harness)、记忆系统(S 组件)、MCP 工具选择(I_act)、Atlas(Phase 2 context)
|
||||
|
||||
📚 **Wiki 集成**
|
||||
- 新增页面:17 个(1 paper + 14 核心概念 + 2 辅助概念)
|
||||
- 已有概念更新:3 个(execution-harness, agent-harness, harness-engineering)
|
||||
- 概念网络密度:核心概念平均 4.5 个交叉引用
|
||||
- 100% 断链验证:待完成
|
||||
|
||||
💡 **关键洞察**
|
||||
|
||||
1. **瓶颈迁移是 Agent 工程的核心叙事**——从"模型不够强"到"脚手架设计不够好"到"模型和脚手架如何协同演化",每次瓶颈转移都重新定义什么是最优工程实践。
|
||||
|
||||
2. **脚手架正在从工程细节变为第一类设计对象**——正如 prompt 从手工编写到自动优化,脚手架策略正从手工设计走向搜索驱动、轨迹驱动的自动优化。这对 sz 的 SkillOpt 项目有直接启发:skill 可以是 learnable harness 的一种实现形式。
|
||||
|
||||
3. **六组件耦合性意味着"局部优化"可能有害**——例如更强的上下文压缩降低成本但削弱下游验证,这与 sz 的 "harness 多维度约束拆分" 设计方向高度共振。
|
||||
38
reviews/genception-review-20260713.md
Normal file
38
reviews/genception-review-20260713.md
Normal file
@@ -0,0 +1,38 @@
|
||||
---
|
||||
title: "GenCeption Review"
|
||||
created: 2026-07-13
|
||||
type: review
|
||||
paper: "genception-video-vision-2026"
|
||||
---
|
||||
|
||||
# GenCeption Review — Video Generation as General-Purpose Vision Pre-training
|
||||
|
||||
📌 **基本信息**
|
||||
- 论文:Video Generation Models are General-Purpose Vision Learners
|
||||
- arXiv: 2607.09024
|
||||
- 发表:2026-07-10(ECCV 2026)
|
||||
- 作者:Google DeepMind + Toronto + UCL + Oxford + MIT + Lund
|
||||
- 项目:genception.github.io
|
||||
|
||||
🎯 **核心概念**
|
||||
|
||||
1. **[[video-generation-pretraining|视频生成预训练]]** — CV 的"next-token prediction 等价物",同时满足时空+VL+规模化三条件
|
||||
2. **[[feed-forward-diffusion|前馈扩散]]** — 将多步迭代 DiT 改造为单步感知模型(t=0 + velocity 取反)
|
||||
3. **[[unified-task-representation|统一任务表示]]** — 所有稠密任务映射到 3 通道 RGB;稀疏任务通过 [[learnable-tokens-sparse|可学习 token]]
|
||||
4. **[[three-imperatives-vision|通用视觉三条件]]** — 统一评估预训练范式的分析框架
|
||||
5. **[[data-driven-task-specification|数据驱动任务规约]]** — 架构固定,任务差异仅体现在数据格式
|
||||
|
||||
🔗 **概念网络**
|
||||
- **核心连接**:视频生成预训练 → 前馈扩散 → 统一表示 → 数据驱动规约
|
||||
- **工具概念**:[[rothko-raymap|Rothko Raymap]](相机光线→RGB)、[[diffusion-as-feature-extractor|扩散特征提取]](DiT→feature extractor)
|
||||
- **涌现现象**:[[sim-to-real-transfer-vision|Sim-to-Real 迁移]](合成人→真实动物/机器人)
|
||||
|
||||
📚 **Wiki 集成**
|
||||
- 新增页面:10 个(1 paper + 8 核心概念 + 1 辅助 + 1 review)
|
||||
- 纯 CV 领域新概念,与现有 Agent 知识网络无明显交叉
|
||||
|
||||
💡 **关键洞察**
|
||||
|
||||
1. **NLP 的 next-token prediction → CV 的 video generation**:这是理论上的对称类比,但实践上有力的证据——视频生成天然内化时空+VL+规模化
|
||||
2. **"Everything is a pixel map"**:与 LLM 的 "everything is a string" 同构的设计哲学——统一表示空间是 scaling 的关键
|
||||
3. **Sim-to-real 零样本泛化**:7,500 段合成人视频 → 理解动物/机器人的 3D 结构,暗示视频生成学到的远不止表面外观
|
||||
Reference in New Issue
Block a user