SidneyZhang/myWiki
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

20260720

Browse Source
This commit is contained in:
Sidney Zhang
2026-07-20 14:14:55 +08:00
parent 24b006225b
commit ebb0e425ca
88 changed files with 3995 additions and 6 deletions
Download Patch File Download Diff File Expand all files Collapse all files

46
concepts/action-interface.md Normal file
View File

@@ -0,0 +1,46 @@
---
title: "行动接口 (Action Interface, I_act)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, tool-use, mcp]
sources:
- arxiv:2606.20683
---
# 行动接口 (I_act)
## 定义
脚手架六组件之一。**行动接口**将模型输出映射到可执行操作。它定义 Agent 能做什么、如何规范操作、适用什么权限、以及操作结果如何作为后续观测返回。
## 设计空间
- **工具粒度**：low-level（terminal、browser） vs. high-level APIs
- **工具规范**：free-form commands vs. structured schemas
- **路由与互操作**：local tools vs. protocol-based ecosystems（如 MCP）
- **治理**：权限、副作用控制、调用约束
## 核心权衡
**灵活性 vs. 可控性**：
- 低层工具通用但难以鲁棒使用
- 高层工具提高可靠性但可能过度窄化行为空间
## 工具使用失败的诊断
近期研究表明，Agent 失败常不是因为缺少工具，而是因为**工具选择不当、调用错误、或未正确集成到执行轨迹中**（见 ET-Agent、ToolTok）。
## I_act 与 I_obs 的协同设计
SWE-agent 是 O-A 协同设计的典范：重新设计 ACI 同时改变模型所见和所行。在固定基座模型下，仅 I_obs + I_act 的重新设计就产生显著增益。
## MCP 与协议化工具生态
MCP ([[mcp-protocol|Model Context Protocol]]) 等协议化基础设施将工具访问推向跨异构服务的标准化接口层。MCPWorld、MCP-Atlas 等 benchmark 评估 Agent 能否在真实条件下可靠调用这些服务。
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-six-components|脚手架六组件模型]]
- [[observation-interface|观测接口]]
- [[verification-governance|验证与治理]]

55
concepts/adaptive-threshold-estimation.md Normal file
View File

@@ -0,0 +1,55 @@
---
title: "Adaptive Threshold Estimation (自适应阈值估计)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["thresholding", "bimodality", "adaptive-sampling", "mixture-models"]
sources: ["Otsu (1979)", "Ashman et al. (1994)", "[[cubas-curvature-adaptive-sampling-2026|CuBAS]]"]
---
# Adaptive Threshold Estimation (自适应阈值估计)
CuBAS 需要将归一化后的曲率分数 K_i ∈ [0,1] 划分为低曲率 (L) 和高曲率 (H) 两部分。不同数据集的曲率分布形态差异显著（双峰/单峰右偏/集中退化），**固定分位阈值不适用**。CuBAS 采用级联决策的自适应估计器。
## 三级决策级联
```
曲率分布
│
┌──────▼──────┐
│ max(K)-min(K) < ε ? ───→ TUKEY (退化)
└──────┬──────┘
│ NO
┌──────▼──────┐
│ Otsu 准则 │ → 计算 σ²_B(T) 最大化的 T
└──────┬──────┘
│
┌──────▼──────────────┐
│ Ashman's D ≥ 2.6 ? │
└──────┬──────┬────────┘
│ YES │ NO
┌──────▼──┐ ┌─▼──────┐
│ μ₂≥0.1? │ │ TUKEY │
└──┬──┬───┘ └────────┘
YES │ │ NO
│ └──→ TUKEY
▼
OTSU
```
## 三个组件
1. **Otsu's Criterion (1979)**：最大化类间方差 σ²_B(T) = w_L w_H (μ_L - μ_H)²，O(B) 累积和计算
2. **Ashman's D Coefficient**：D = √2|μ₁-μ₂| / √(σ₁²+σ₂²)，≥ 2.6 确认双峰真实可分离（非噪声）
3. **Tukey-Fence Fallback**：对单峰分布，T = Q₃(K)；若 IQR=0 则回退到 Q₀.₉₅
## 设计动机
- Otsu **总是**返回一个阈值（即使分布是单峰的）→ 需要 Ashman's D 验证
- Ashman's D 假设同方差 → 不严格满足时作为筛选标准而非假设检验
- 高曲率分量 μ₂ < 0.1 视为噪声伪影 → 强制回退
## 参考
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]]
- [[low-curvature-high-curvature-decomposition|L/H Decomposition]]

2
concepts/agent-harness.md
View File

@@ -4,7 +4,7 @@ created: 2026-06-15
updated: 2026-06-15
type: concept
tags: [coding-agent, evaluation, multi-agent]
sources: [raw/papers/zheng-claw-swe-bench-2026.md]
sources: [raw/papers/zheng-claw-swe-bench-2026.md], [[agent-harness-survey-2026]]
---
# Agent Harness (Claw)

52
concepts/agent-native-training.md Normal file
View File

@@ -0,0 +1,52 @@
---
title: "Agent 原生训练 (Agent-Native Training)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, training, rl, coevolution]
sources:
- arxiv:2606.20683
---
# Agent 原生训练
## 定义
Agent 工程第四范式（Phase 4）的第一方向。**Agent 原生训练**将 Agent 行为——规划、工具使用、验证、恢复——通过交互环境训练内化到模型参数中，而非完全依赖 prompt、workflow 或运行时编排。
## 两条子路径
### 1. 推理→行动行为的强化学习内化
通过 RL 训练将多步推理、行动选择和验证作为可训练行为：
- **DeepSeek-R1 / DAPO**：将推理和验证作为可训练行为而非纯 prompt 诱导
- **ProRL / WebRL / ComputerRL**：在接近部署的交互环境中训练 Agent，减少 train-test mismatch
### 2. 训练-部署失配的缩小
在部署级环境中训练 Agent：
- daVinci-Dev、Kimi-Dev：在真实 dev 环境中训练编码 Agent
- Environment Tuning：将任务环境本身作为可优化参数
## 内部化的分工转移
行为内部化的结果是分工转移而非消除脚手架：
| 之前（外部化） | 之后（部分内化） |
|--------------|---------------|
| 规划由 prompt 诱导 | 部分规划能力在参数中 |
| 工具使用依赖指令 | 工具使用模式通过学习获得 |
| 验证靠外部 checker | 部分验证直觉在模型内 |
更短视界的行为可移入模型参数，而运行时仍提供**环境访问、状态管理和安全控制**。
## 与 Phase 3 的关系
Phase 4 建立在 Phase 3（[[harness-engineering|脚手架工程]]）的可组合、多模型运行时之上。问题不再是"如何设计脚手架"，而是"哪些行为值得内化到模型参数中、哪些应留在运行时、全栈如何安全地随时间改进"。
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[model-harness-coevolution|模型-脚手架协同演化]]
- [[four-paradigms-agent-engineering|Agent 工程四范式]]
- [[harness-engineering|脚手架工程]]

35
concepts/agentic-evaluation.md Normal file
View File

@@ -0,0 +1,35 @@
---
title: "Agent 评估 (Agentic Evaluation)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, evaluation, benchmarks]
sources:
- arxiv:2606.20683
---
# Agent 评估
## 核心观察
传统 benchmark（MMLU、GPQA、HumanEval）趋于饱和，但 Agent 任务 benchmark（SWE-bench、WebArena、OSWorld、Terminal-Bench、TheAgentCompany）仍有巨大空间。**这一分歧揭示了模型规模扩展无法独立填补 Agent 任务缺口。**
## 关键 Benchmark
| Benchmark | 领域 | 评估重点 |
|-----------|------|----------|
| SWE-bench | 软件工程 | 端到端 issue 修复 |
| WebArena | Web 交互 | 多步 web 任务 |
| OSWorld | 桌面操作 | 操作系统级任务 |
| Terminal-Bench | 命令行 | CLI 交互能力 |
| MCPWorld | 工具协议 | MCP 协议互操作 |
## 评估方法论转变
从"答案是否正确"→"组装的上下文是否能支撑多步任务完成"→"执行轨迹在长视界上是否稳定、可验证、可恢复"。
这是从**静态 QA 评估到交互式多步任务完成评估**的根本转变。
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-engineering|脚手架工程]]

41
concepts/blessing-of-dimensionality.md Normal file
View File

@@ -0,0 +1,41 @@
---
title: "Blessing of Dimensionality (维度之福)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["over-parameterization", "smg", "optimization-landscape", "representation-learning"]
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---
# Blessing of Dimensionality (维度之福)
SMG 对经典"维数灾"的**激进翻转**——极限过参数化不是统计病理，而是使泛化学习成为可能的**强制性拓扑润滑剂**。
## 三维之福
SMG 证明了在无穷维 Orlicz 纤维丛中，过参数化提供三重恩赐：
1. **全局平滑与优化自由**：在无穷维环境空间 M 中，垂直纤维提供了巨大的连通拓扑水库。复杂优化瓶颈被平滑为高维谷，梯度下降获得**近乎无限的自由度**绕开局部障碍而不影响宏观输出。
2. **机制与意义的解耦**：极限维度使内部计算机制与外部语义信号**完全解耦**。纤维的无穷维吸收结构扰动和架构配置（IDoF），同时保持可观测统计投影锚定在稳定的低维基流形 B 上。
3. **连续嵌入的吸收能力**：Transformer 的潜在连续向量需要通过注意力层路由。超高维空间提供了最优拓扑宿主，使嵌入形成丰富的几何轨迹，可被安全解纠缠。
## Occam 剃刀的拓扑解决
经典 AIC 按参数量 k 线性惩罚模型复杂性——在 k → ∞ 时崩溃。SMG 证明：
> 无穷参数被严格隔离在垂直 gauge 空间 Vf 中 → Fisher-Rao 度量下统计方差为零 → 真实经验复杂度仅由 dim(B) = d 约束。
过参数化模型并不违背 Occam 剃刀——纤维丛的几何**自动过滤**了无穷维度。
## 表示学习的 SMG 重定义
> 表示学习本质上是 **Gauge-Filtered Projection**。
> 过参数化权重空间提供数学灵活性吸收混沌数据，投影映射 π 剥离无穷维 gauge 冗余，剩余的是高度策展的低维水平子空间 SVDχ——几何明确决定语义输出。
## 参考
- [[statistically-meaningful-geometry|SMG]]
- [[orlicz-statistical-manifold|Orlicz Statistical Manifold]]
- [[structural-internal-directions|SID]]

52
concepts/concept-point-cloud-manifold.md Normal file
View File

@@ -0,0 +1,52 @@
---
title: "Concept Point-Cloud Manifold (概念点云流形)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["representation-learning", "conceptual-representation", "neural-population-geometry", "point-cloud"]
sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
---
# Concept Point-Cloud Manifold (概念点云流形)
Hu et al. (ICML 2026) 对 LLM 中概念表示的重新形式化：概念**不是稳定向量**，而是**点云流形**。
## 形式化定义
对模型 m，概念词 w 在上下文 c 中的表示：
```
r^{(m)}(w, c) ∈ M^{(m)} ⊂ R^{d_m}
```
跨 N 个上下文实例的集合：
```
X_w^{(m)} = {r^{(m)}(w, c_i)}_{i=1}^N
```
这个点云被视为从潜在分布 P_w^{(m)} 的经验采样——**参数形式不假设**，通过成对核矩阵非参数地表征其几何。
## 神经群体几何的类比
从神经群体几何（Chung & Abbott, 2021）借用的视角：
- 刺激类别 → 神经状态空间中的点云流形
- 身份保持的输入变化 → 群体响应的分布
- 稀疏采样 → 点云的外显形式
在 LLM 中：概念 = 刺激类别；上下文 = 身份保持变化 → 同一概念的分布式表示在不同上下文中采样。
## 与传统"概念 = 向量"的区别
| 传统视角 | 点云流形视角 |
|---------|------------|
| 概念是单一方向/向量 | 概念是分布 P_w |
| 上下文扰动静态向量 | 上下文从 P_w 中采样 |
| 可以有"概念向量" | 概念是几何分布的集合 |
| steering = 加方向 | steering 丢弃结构化残差 |
## 参考
- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
- [[within-concept-between-concept-axes|Two Axes of Representation]]
- [[contextual-transformation-field|Contextual Transformation Field]]

51
concepts/context-manager.md Normal file
View File

@@ -0,0 +1,51 @@
---
title: "上下文管理器 (Context Manager, C)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, context-engineering]
sources:
- arxiv:2606.20683
---
# 上下文管理器 (C)
## 定义
脚手架六组件之一。**上下文管理器**决定哪些可用信息进入当前模型调用，以及以何种形式。它负责选择、压缩、排序和刷新观测、工具输出、检索证据、记忆记录、摘要、指令和任务产物——在其成为当前步骤的工作上下文之前。
## 与上下文工程的关系
[[context-engineering|上下文工程]]（Phase 2）首先将上下文视为核心关注点。在脚手架中，上下文管理成为一个运行时组件，与观测、控制、行动、持久化和验证并列。核心区别：
| | 上下文工程 | 上下文管理器 (C) |
|---|---|---|
| 视角 | 从 prompt 到信息生命周期管理 | 六组件之一，与其他组件耦合 |
| 优化目标 | $$F^* = \arg\max_F E[\text{Reward}(P_\theta(Y|C_F(\tau)))]$$ | 在耦合系统中与其他组件平衡 |
| 关键转变 | 上下文从静态 prompt → 动态组装 | 上下文必须与 I_obs, I_act, V 协调 |
## 设计选择
- **包含**（inclusion）：哪些信息进入上下文
- **表示**（representation）：原生 vs. 压缩 vs. 摘要
- **刷新策略**（refresh policy）：何时更新、保留、丢弃
- **共享状态**：子 Agent 间暴露多少共享上下文
## 核心权衡
**保真度 vs. 可管理性**：
- 原始历史保留细节但扩展性差
- 摘要和检索的上下文更便宜但可能省略或扭曲重要状态
- 关键区别不在长 prompt vs. 短 prompt，而在**整体式（monolithic）上下文 vs. 管理式（managed）上下文**
## 实现模式
- **检索型**：按需引入外部文档/存储状态（RAG 传统）
- **记忆导向**：如 MemGPT，将活跃上下文与更大的外部记忆分离
- **产物中心**：将任务状态外部化为显式产物，选择性地重新浮现
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-six-components|脚手架六组件模型]]
- [[context-engineering|上下文工程]]
- [[observation-interface|观测接口]]

62
concepts/contextual-transformation-field.md Normal file
View File

@@ -0,0 +1,62 @@
---
title: "Contextual Transformation Field (上下文变换场)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["representation-learning", "vector-field", "contextual-representation", "llm-geometry"]
sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
---
# Contextual Transformation Field (上下文变换场)
Hu et al. (ICML 2026) 的核心创新——将 LLM 中概念在上下文间的位移形式化为**向量场**。
## 定义
设 τ₀ 为源上下文（如中性模板），τ 为目标上下文。概念 w 的上下文位移：
```
φ^{(m)}(w, τ) = r^{(m)}(w, τ) - r^{(m)}(w, τ₀) ∈ M^{(m)}
```
跨词汇 W 的位移集合构成向量场：
```
Φ_τ^{(m)} : W → M^{(m)}, w ↦ φ^{(m)}(w, τ)
```
由其核矩阵表征：
```
K_Φτ [i, j] = k(φ^{(m)}(w_i, τ), φ^{(m)}(w_j, τ))
```
## 关键发现
### 场不是均匀的
- **主导方差比** ρ₁ ∈ [0.073, 0.146]——远未达到单一方向主导
- **球面全局方差** V_global ∈ [0.43, 0.75] rad²（均匀分布 ~2.47）——场分散但非随机
### 方差是语义组织的
| 词属性 | 与 | 相关性 | p 值 |
|--------|-----|--------|------|
| 词汇密度 | 位移幅度 r̃ | ρ ∈ [-0.22, -0.32] | < 0.001 |
| 具体性 | 方向偏差 σ | ρ ∈ [-0.21, -0.41] | < 0.001 |
→ 语义邻域密集的词位移更小；更具体的概念方向偏差更小。抽象概念因缺乏感知锚定，在语义框架间被推向更分散的方向。
### 跨模型共享
位移关系结构在模型间可迁移：从模型 A 运送位移结构到模型 B，预测保留位移显著高于基线。
## 对表示工程的意义
单向量 steering（如 Arditi et al., 2024）将上下文变换场近似为均匀平移 → **丢弃了语义上有意义的结构化残差**。
## 参考
- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
- [[concept-point-cloud-manifold|Point-Cloud Manifold]]
- [[within-concept-between-concept-axes|Two Axes]]

50
concepts/control-loop.md Normal file
View File

@@ -0,0 +1,50 @@
---
title: "控制循环 (Control Loop, L)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, orchestration]
sources:
- arxiv:2606.20683
---
# 控制循环 (L)
## 定义
脚手架六组件之一。**控制循环**组织跨步骤、跨工具和可能交接的执行。它将观测、推理、行动和反馈转化为可运行的过程。
## 设计空间
- 执行模式：简单 perceive-act 循环 vs. ReAct-style vs. plan-execute-verify
- 控制分权：多少控制由模型主导 vs. 运行时主导
- 规划时机：何时创建/修订计划
- 委托：何时引入子 Agent
- 协调：顺序 vs. 并行
- 终止条件：何时停止执行
## 核心权衡
**适应性 vs. 稳定性**：
- 更自由的循环可响应意外状态，但更易漂移、重复失败和产生协调开销
- 更强的编排提高可靠性，但可能降低效率或过度约束探索
## 多模型控制循环
当 |M| > 1 时，控制循环从"一个模型迭代至完成"变为"运行时决定哪个模型接下来行动、带什么上下文、在什么约束下"。典型模式：
- Planner-Executor-Verifier 分解
- Specialist routing
- Debate/committee-style validation
- Sub-agent handoff
## 代表系统
- **NLAH**：将脚手架逻辑视为可编辑产物
- **Meta-Harness**：将脚手架配置视为可搜索的设计空间
- 轻量级迭代循环 vs. 显式 plan-execute-verify vs. 多 Agent 协调——占据设计空间的不同位置
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-six-components|脚手架六组件模型]]
- [[multi-model-harness|多模型脚手架]]
- [[learnable-harness|可学习脚手架]]

43
concepts/cross-layer-interaction.md Normal file
View File

@@ -0,0 +1,43 @@
---
title: "脚手架跨层交互 (Cross-Layer Interactions)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, systems-design]
sources:
- arxiv:2606.20683
---
# 脚手架跨层交互
## 定义
脚手架六组件（[[harness-six-components|I_obs, C, L, I_act, S, V]]）虽然在分析上可分离，但在实践中**并非独立运行**。一个组件的设计选择经常重塑其他组件的负担。脚手架设计因此是**耦合系统问题**而非六个模块的独立优化。
## 关键耦合关系
### I_obs ↔ C（观测-上下文耦合）
更丰富的观测改善接地性，但也增加了上下文选择、压缩和格式化的成本。SWE-agent 的 ACI 重新设计同时改变了观测和上下文——无法孤立地优化其一。
### I_act ↔ V（行动-验证耦合）
更富表达力的行动扩展了能力，但要求更强的权限控制、沙盒化、rollback 和审计。当 tool 调用可能产生不可逆副作用时，V 的压力急剧上升。
### S → C, V（状态-上下文-验证反馈环）
持久化的计划、日志、checkpoint 和产物同时决定什么可以被重新浮现给模型（C）和什么证据可用于判断进度（V）。
## 设计后果
**优化某一层可能将风险转移到其他地方**：
- 更强的压缩降低成本，但可能削弱下游验证（信息丢失）
- 更丰富的行动改善任务覆盖，但增加治理压力
- 更多持久化状态改善连续性，但也引入过时或冲突的证据
## 任务作为压力剖面
由于这种耦合性，**任务结构本身成为脚手架设计的一部分**。不同领域、视界、oracle 强度和自主性要求对 I_obs、C、L、I_act、S、V 施加不同的压力剖面。相同的解剖结构因此成为阅读任务格局的方式：任务因它们挤压哪些运行时责任和哪些配置选择变得决定性而不同。
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-six-components|脚手架六组件模型]]
- [[harness-task-mapping|脚手架-任务映射]]
- [[execution-harness|执行脚手架]]

56
concepts/cross-model-concept-geometry.md Normal file
View File

@@ -0,0 +1,56 @@
---
title: "Cross-Model Concept Geometry (跨模型概念几何)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["representation-alignment", "cka", "grassmann-distance", "cross-model-analysis"]
sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
---
# Cross-Model Concept Geometry (跨模型概念几何)
Hu et al. (ICML 2026) 的核心发现：概念表示的关系结构**跨模型共享**——且不仅是概念本身，**上下文变换场也共享**。
## 测量工具
### CKA (Centered Kernel Alignment)
```
CKA(K, L) = HSIC(K, L) / √(HSIC(K, K) · HSIC(L, L))
```
使用去偏 HSIC 估计量（Song et al., 2012）：避免有限样本膨胀。捕捉旋转/缩放不变的**关系结构**。
### Grassmann 距离
检测上下文变换场是否跨越**相同的方向**：
- 对 Φ_τ 做截断 SVD，取列空间 col(U)
- 列空间是 Grassmann 流形 Gr(p, |W|) 上的点
- Grassmann 距离 = 主角度 θ_i 的 ℓ₂ 范数
### Permutation Calibration
对每个对齐分数 ρ_obs，生成 K=200 个排列零分布 {ρ_k}，计算校准分数：
```
ρ_cal = (ρ_obs - γ)₊ / (ρ_max - γ)
```
其中 γ = Q_{1-α}({ρ_obs} ∪ {ρ_k})。
## 关键结果
1. **概念内关系**：跨模型 CKA 显著 > 基线，随模型能力（MMLU）单调递增
2. **概念间关系**：同样显著对齐，模板上下文比自然上下文更强
3. **上下文变换场**（核心贡献）：位移结构从模型 A 迁移到模型 B 预测保留位移，显著高于基线
4. **不是语料伪影**：打乱上下文破坏对齐；控制共现统计后对齐仍保持
## 对 AI 理论的意义
模型的"概念系统"不仅共享**概念在哪里**，更共享**上下文如何移动它们**——这是一个比先前工作（如 Huh et al. 2024, Park et al. 2024）所认识到的**更丰富的共享几何结构**。
## 参考
- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
- [[contextual-transformation-field|Contextual Transformation Field]]
- [[within-concept-between-concept-axes|Two Axes]]

58
concepts/curvature-based-adaptive-sampling.md Normal file
View File

@@ -0,0 +1,58 @@
---
title: "Curvature-Based Adaptive Sampling (CuBAS, 曲率自适应采样)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["adaptive-sampling", "information-geometry", "supervised-classification", "data-selection"]
sources: ["[[cubas-curvature-adaptive-sampling-2026|CuBAS 论文]]"]
---
# Curvature-Based Adaptive Sampling (CuBAS)
**CuBAS** 是 Levada (2026) 提出的基于信息几何的自适应数据选择框架，将监督分类中的训练集筛选转化为统计流形的几何推断问题。
## 核心洞察
带标签数据集可看作由 [[potts-markov-random-field|Potts MRF]] 诱导的[[statistical-manifold|统计流形]]，其局部曲率（通过[[observed-fisher-information|观测 Fisher 信息]]比值估计）忠实编码了数据分布的几何复杂度。
## 六步算法
1. **图构建**：从 D 构建 k-NN 图 G=(V,E)
2. **参数估计**：[[maximum-pseudo-likelihood|MPL]] + 割线法估计 β
3. **局部曲率**：计算每个节点的 [[shape-operator|S_i(β)]] = -Ψ_i/(Φ_i+λ)
4. **曲率归一化**：将 S_i 映射到 [0,1]
5. **自适应划分**：[[adaptive-threshold-estimation|自适应阈值]] T 将图分为 L（低曲率）和 H（高曲率）
6. **采样**：分别从 L 和 H 采样构成训练集
## 关键结果
| 指标 | 值 |
|------|-----|
| 60+ 数据集全胜 | 100% 优于 Random 和 Entropy |
| 10% 预算 vs Entropy | +13.5pp 平均，p < 10⁻¹⁰ |
| 计算复杂度 | O(nm log n + nk + T_β nc) |
| HDLSS 鲁棒 | MNIST、基因组数据集上持续有效 |
## 与现有方法的根本区别
| 方法 | 信息量来源 | 依赖性 |
|------|-----------|--------|
| Random | 无 | 无 |
| Entropy Sampling | 分类器后验不确定性 | 需预训练分类器 |
| **CuBAS** | **图拓扑 + 统计几何** | **模型无关** |
CuBAS 的模型无关性使其在极小训练预算下不受 seed set 偏差影响——这是 Entropy 采样的已知弱点。
## 限制
- 超小样本（n < 100）高维场景：曲率信号对比度不足
- k-NN 图在高维稀疏空间（如文本 bag-of-words）中几何结构弱
- 当前为被动采样（所有标签已知），未扩展到主动学习
## 参考
- [[cubas-curvature-adaptive-sampling-2026|CuBAS 论文]]
- [[potts-markov-random-field|Potts MRF]]
- [[shape-operator|Shape Operator]]
- [[low-curvature-high-curvature-decomposition|L/H Decomposition]]
- [[adaptive-threshold-estimation|Adaptive Threshold Estimation]]

41
concepts/data-driven-task-specification.md Normal file
View File

@@ -0,0 +1,41 @@
---
title: "数据驱动任务规约 (Data-Driven Task Specification)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [computer-vision, multi-task, architecture-design]
sources:
- arxiv:2607.09024
---
# 数据驱动任务规约
## 定义
GenCeption 的核心设计哲学：**任务规范从架构修改转移到数据格式设计**。在这种范式下，集成新的视觉能力不需要改变架构或训练配方——仅需调整数据的表示方式。
## 范式对比
| | 旧范式（专用模型） | 新范式（GenCeption） |
|---|---|---|
| 新任务意味着 | 新 encoder/decoder/loss | 新数据格式 |
| 任务切换方式 | 加载不同模型 | 切换文本 prompt |
| 架构 | 任务特定 | 统一（统一 backbone + head + loss） |
| 扩展性 | 每任务需独立工程 | 格式化为 RGB 或 token 即可 |
## LLM 类比
> 正如 LLM 将非文本数据格式化为文本字符串（"translate English to French: ..."），GenCeption 将视觉任务投影到连续像素空间。
这与 LLM 的 "everything is a string" 哲学同构——**"everything is a pixel map"**。
## 实现
- 稠密任务：3 通道 RGB 空间（见 [[unified-task-representation|统一任务表示]]）
- 稀疏任务：可学习 token + MLP（见 [[learnable-tokens-sparse|可学习 token]]）
- 文本 prompt 切换模态："output: depth" / "output: normal" / "output: segmentation"
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[unified-task-representation|统一任务表示]]
- [[rothko-raymap|Rothko Raymap]]

43
concepts/diffusion-as-feature-extractor.md Normal file
View File

@@ -0,0 +1,43 @@
---
title: "扩散特征提取 (Diffusion as Feature Extractor)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [diffusion, representation-learning, computer-vision]
sources:
- arxiv:2607.09024
---
# 扩散特征提取
## 定义
将预训练扩散模型（特别是 DiT）重新定义为**视觉特征提取器**而非生成器。这是 GenCeption 和一系列相关工作共用的核心思想。
## 原理
扩散模型在去噪过程中学会了对视觉世界的丰富内部表示（geometry、texture、physics、object relations）。这些表示可以被提取并用于感知任务，而非仅用于图像/视频生成。
GenCeption 将其形式化为 [[feed-forward-diffusion|前馈扩散]]——t=0、velocity 取反、单步 forward。
## 相关工作谱系
| 工作 | 模型 | 任务 | 关键贡献 |
|------|------|------|----------|
| Marigold | Stable Diffusion | 单目深度 | 首个证明图像扩散→深度估计可行 |
| GenPercept | 图像扩散 | 稠密感知 | 系统性研究特征注入/解码/训练目标 |
| Diception | 图像扩散 | 多任务感知 | 文本引导的任务切换 |
| BufferAnytime | 图像扩散+时序层 | 视频深度/法向 | 时序一致性 |
| DepthCrafter | 视频扩散 | 深度 | CLIP/DINO 对齐 |
| **GenCeption** | **视频扩散** | **通用视频感知** | **统一架构+前馈改造** |
## 核心设计问题
1. **用哪些层**：GenCeption 仅用最后一层（与 VAE decoder 原生对齐）
2. **时间步选择**：t=0 对应生成终点，噪声最小，信息最丰富
3. **输出格式**：velocity 取反后与 VAE decoder 兼容
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[feed-forward-diffusion|前馈扩散]]
- [[video-generation-pretraining|视频生成预训练]]

50
concepts/directional-uncertainty-decomposition.md Normal file
View File

@@ -0,0 +1,50 @@
---
title: "Directional Uncertainty Decomposition (方向不确定性分解)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["directional-statistics", "uncertainty-quantification", "attention", "embeddings"]
sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
---
# Directional Uncertainty Decomposition (方向不确定性分解)
GID 解决的核心问题：当数据是**球面上的加权经验测度**时，如何分层量化方向不确定性。
## 问题来源
在以下场景中，数据天然具有加权球面测度形式：
| 场景 | 点 x_i | 权重 w_i |
|------|--------|---------|
| 注意力加权嵌入 | 归一化 value 向量 | softmax 注意力分数 |
| 重要性采样 | 粒子 | 重要性权重 |
| 后验粒子 | 参数样本 | 后验概率 |
| 求积规则 | 节点 | 求积权重 |
标准做法拟合 vMF 并报告 κ̂ → 仅捕获**一阶**（平均方向）信息。
## GID 的替代方案
对测度 P̂_w = Σ w_i δ_{x_i}，计算嵌套最大熵投影的**信息缺口**：
```
(I₁, I₂, ..., I_L) = GID(P̂_w)
```
这个**几何信息指纹**揭示了：
- 在什么层级结构出现
- vMF 是否足够（I₁ 主导，I₂≈0）
- 是否存在被低阶矩遮蔽的轴性/多模态结构（I₂ 或 I₃ 显著）
## 实验验证
- S¹ 和 S² 上的合成例子：vMF、反极点、腰带、四面体 → 各自在对应级别出现最大缺口
- 有限样本零校准：Theorem 8 的 χ² 近似准确，即使在小样本下
- Query-weighted digit projection：嵌入空间的方向不确定性诊断
## 参考
- [[geometric-information-decomposition|GID]]
- [[information-gap|Information Gap]]
- [[entropy-deficit|Entropy Deficit]]

59
concepts/ehresmann-connection-filtering.md Normal file
View File

@@ -0,0 +1,59 @@
---
title: "Ehresmann Connection Filtering (Ehresmann 联络过滤)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["differential-geometry", "fiber-bundle", "smg", "gauge-theory"]
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---
# Ehresmann Connection Filtering (Ehresmann 联络过滤)
在 [[statistically-meaningful-geometry|SMG]] 中，**Ehresmann 联络 1-形式 ω** 是核心操作算子——它不是经典统计中的概率计算工具，而是纯微分几何的**动态过滤器**。
## 数学定义
在 SMG 一般纤维丛 B_SMG = (M, B, π, V, H) 上，Ehresmann 联络在每个点 f ∈ M 选择一个水平子空间 Hf，满足：
```
dπf|Hf : Hf → Tπ(f)B 是向量空间同构
```
这等价于定义垂直投影算子：P_V : Tf M → Vf（SID 分量提取）。
## SMG 中的双重角色
### 1. 几何过滤器（Geometric Filter）
在训练过程中，ω 将梯度分解为：
```
∇f = P_H(∇f) + P_V(∇f)
↑ ↑
SVDχ 统计信号 SID 规范噪声
```
只有水平分量进入参数更新——垂直分量被**系统性剥离**。
### 2. 结构探针（Structural Probe）
ω 不是通过回归来估计隐藏参数，而是作为**非概率几何算子**：
- 监测隐藏状态的对齐
- 追踪内部自由度的路由
- 保证 [[two-fold-inference-paradigm|Two-Fold Inference]] 互不泄露
## 与传统联络的对比
| 联络类型 | 底空间 | 群结构 | 核心作用 |
|---------|--------|--------|---------|
| Levi-Civita 联络 | 黎曼流形 | — | 度量兼容平行移动 |
| Principal Bundle 联络 | 主丛 | Lie 群 G | 规范场论 |
| **SMG Ehresmann 联络** | **一般纤维丛** | **无群假设** | **统计信号/噪声正交分解** |
SMG 明确拒绝了主丛 + Lie 群公式——过参数化统计模型的对称性不构成自由且 proper 的齐性群作用。
## 参考
- [[statistically-meaningful-geometry|SMG]]
- [[two-fold-inference-paradigm|Two-Fold Inference]]
- [[quarantining-theorem|Quarantining Theorem]]

55
concepts/entropy-deficit.md Normal file
View File

@@ -0,0 +1,55 @@
---
title: "Entropy Deficit (熵赤字)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["information-geometry", "kl-divergence", "directional-statistics", "maximum-entropy"]
sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
---
# Entropy Deficit (熵赤字)
在 [[geometric-information-decomposition|GID]] 中，**熵赤字** D_L(P) 是第 L 级最大熵投影与均匀分布之间的 KL 散度。
## 定义
```
D_L(P) = KL(p^P_L ν ∥ ν) = ∫ p^P_L log p^P_L dν ≥ 0
```
其中 ν 是球面上的归一化面测度（均匀分布 = p ≡ 1, h(p) = 0）。
## 有效不确定性
从熵赤字可定义**有效不确定性**：
```
U_L(P) = exp{-D_L(P)} ∈ (0, 1]
```
- U_L = 1：第 L 级特征未捕获任何非均匀信息
- U_L ≪ 1：特征解释了显著的结构
## 单调性
嵌套特征空间 → D_L(P) 单调非降：
```
0 = D₀(P) ≤ D₁(P) ≤ D₂(P) ≤ ... ≤ D_L(P)
```
每增加一级特征，投影密度至少保留前一级的所有信息——更多信息不可能减少 KL 散度。
## KL-gap 恒等式
```
D_L(P) = Σ_{ℓ=1}^L I_ℓ(P)
```
即总熵赤字 = 各级信息缺口之和。这是 Amari 信息几何中层次 KL 分解（Pythagorean 恒等式）的特例。
## 参考
- [[geometric-information-decomposition|GID]]
- [[information-gap|Information Gap]]
- [[maximum-entropy-projection|Maximum Entropy Projection]]

2
concepts/execution-harness.md
View File

@@ -4,7 +4,7 @@ created: 2026-06-05
updated: 2026-06-05
type: concept
tags: [agent-harness, infrastructure, execution-engine]
sources: [[liu-auditing-agent-harness-safety]], [[agent-harness-engineering]]
sources: [[liu-auditing-agent-harness-safety]], [[agent-harness-engineering]], [[agent-harness-survey-2026]]
---
# Execution Harness

51
concepts/feed-forward-diffusion.md Normal file
View File

@@ -0,0 +1,51 @@
---
title: "前馈扩散 (Feed-Forward Diffusion)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [diffusion, perception, computer-vision]
sources:
- arxiv:2607.09024
---
# 前馈扩散
## 定义
**前馈扩散**是 GenCeption 将多步迭代扩散模型改造为单步前馈感知模型的核心技术。它保留了预训练扩散骨干的丰富特征，同时消除推理时的迭代采样开销。
## 改造步骤
给定预训练的 Rectified Flow DiT（预测 velocity v = ε - x₀）：
1. **输入替换**：将噪声 latent x_t 替换为干净视频 latent x₀
2. **时间步固定**：条件时间步 t = 0（对应生成过程的终点）
3. **输出取反**：将 DiT 的 velocity 输出取反：-v = x₀ - ε → 更接近目标视频 latent
4. **单步前向**：仅执行一次 forward pass，无去噪循环
5. **末层特征**：直接从最后一层提取特征（不用中间层）
## 直觉理解
将 DiT 重新定义为**强大的特征提取器**而非生成器：
- 条件在 t=0 上：信号 DiT "输入已经是干净的，直接提取特征"
- velocity 取反：因为 Rectified Flow 训练目标 v = ε - x₀，取反后得到 x₀ - ε，与干净 latent 更接近
- 最后一层：确保特征与后续 VAE decoder 原生对齐
## 与迭代扩散的对比
| | 迭代扩散（生成） | 前馈扩散（感知） |
|---|---|---|
| 输入 | 噪声 latent x_T | 干净 latent x₀ |
| 步数 | 多步（50-1000） | 单步 |
| 时间步 | t 递减 | t=0 固定 |
| 目标 | 多样性 | 准确性 |
| 速度 | 慢 | 快 |
## 设计原则
**最大化与原始预训练机制的一致性**——最小化架构修改，以完整保留预训练表示。这确保了丰富的时空先验在微调过程中不会退化。
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[video-generation-pretraining|视频生成预训练]]
- [[diffusion-as-feature-extractor|扩散特征提取]]

4
concepts/fisher-information-metric.md
View File

@@ -4,7 +4,7 @@ created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["information-geometry", "differential-geometry", "statistical-inference"]
sources: ["[[dead-directions-geometric-singular-learning]]"]
sources: ["[[dead-directions-geometric-singular-learning]]", "[[cubas-curvature-adaptive-sampling-2026|CuBAS]]"]
---
# Fisher 信息度量 (Fisher Information Metric)
@@ -41,3 +41,5 @@ Fisher 度量在以下公式中自然出现：
- [[information-geometry|Information Geometry]]
- [[dead-direction|Dead Direction]]
- [[singular-learning-theory|Singular Learning Theory]]
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]] — 一阶/二阶 Fisher 信息驱动自适应采样
- [[smg-framework-2026|SMG]] — 非参数 Fisher-Rao 度量在无穷维 Orlicz 空间上的正交分解

48
concepts/four-paradigms-agent-engineering.md Normal file
View File

@@ -0,0 +1,48 @@
---
title: "Agent 工程四范式 (Four Paradigms of Agent Engineering)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, agent-engineering, paradigm-evolution]
sources:
- arxiv:2606.20683
---
# Agent 工程四范式
## 定义
Agent Harness Survey (2026) 提出的 Agent 工程**演化性分析框架**，将 Agent 系统的发展组织为四个范式阶段。每阶段因前阶段的局限性而涌现，每阶段突出不同的性能杠杆。
## 四阶段
### Phase 1: [[prompt-engineering|提示工程]]
- **瓶颈**：表达问题（how to ask）
- **手段**：few-shot、CoT、self-consistency、ToT
- **局限**：不解决信息问题——无法提供缺失知识、管理动态状态、维持长序列一致性
### Phase 2: [[context-engineering|上下文工程]]
- **瓶颈**：信息生命周期管理
- **手段**：RAG、记忆管理、工具定义、技能渐进披露、上下文压缩
- **核心转变**：优化目标从"单个答案正确"变为"组装的上下文能否支撑多步任务完成"
- **局限**：本质是前馈性——优化每步推理的输入但不提供结构性机制来检测漂移、验证中间结果、恢复错误
### Phase 3: [[harness-engineering|脚手架工程]]
- **瓶颈**：执行稳定性（detect drift, maintain stable execution, recover from errors）
- **手段**：闭环反馈执行、sandboxing、状态 checkpoint、验证循环、错误恢复、子 Agent 协调
- **核心转变**：从"给模型展示什么"变为"如何保持整个系统在轨道上"
- **子趋势**：[[multi-model-harness|多模型脚手架]] + [[learnable-harness|可学习脚手架]]
### Phase 4: [[agent-native-training|Agent 原生训练]] & [[model-harness-coevolution|协同演化]]
- **瓶颈**：行为内化 + 全栈持续改进
- **方向1**：Internalization — 规划/工具使用/验证通过交互环境训练进模型参数
- **方向2**：Co-evolution — 模型、脚手架、改进策略在部署中联合更新
## 关键洞察
这四个阶段是**概念性演化透镜**而非严格时间分区——四者在实践中共存。分析目的不是引入另一种组件分类法，而是追踪**主导性能瓶颈如何在各阶段间迁移**，以及为什么脚手架设计已成为 Agent 工程的核心对象。
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-engineering|脚手架工程]]
- [[agent-native-training|Agent 原生训练]]

61
concepts/geometric-information-decomposition.md Normal file
View File

@@ -0,0 +1,61 @@
---
title: "Geometric Information Decomposition (GID, 几何信息分解)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["directional-statistics", "information-geometry", "maximum-entropy", "spherical-data"]
sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
---
# Geometric Information Decomposition (GID)
**GID**（You, 2026）是一种针对球面上**加权经验测度**的方向不确定性分层诊断方法，通过嵌套最大熵投影将几何结构分解为信息缺口序列。
## 动机：vMF 的盲区
标准做法：对加权方向数据拟合 vMF 分布，报告 κ̂（浓度）。但在以下情况 vMF 完全失败：
| 结构 | vMF 输出 | 真实情况 |
|------|---------|---------|
| 反极点 (antipodal) | κ̂ ≈ 0（接近均匀） | 沿轴高度集中 |
| 腰带 (girdle) | 平均方向消失 | 赤道面强结构 |
| 多模态对称 | 低阶矩抵消 | 远非均匀 |
## GID 的核心机制
```
特征空间嵌套: V₀ ⊂ V₁ ⊂ V₂ ⊂ ... ⊂ V_L
│ │ │
uniform vMF Fisher-Bingham
axial/girdle
```
对每个级别 L，拟合**最大熵投影** p^P_L（保留 V_L 矩约束的最无结构密度），其与均匀分布的 KL 散度即为**熵赤字**：
```
D_L(P) = KL(p^P_L ν ∥ ν) = Σ_{ℓ=1}^L I_ℓ(P)
```
**信息缺口** I_L(P) = D_L(P) - D_{L-1}(P) 量化了第 L 级特征新增的几何信息。
## 三级指纹
| 级别 | 特征空间 | 捕获结构 |
|------|---------|---------|
| I₁ | 球谐 1 阶 | vMF 平均方向（浓度） |
| I₂ | 球谐 2 阶 | Fisher-Bingham 轴性、反极点、椭圆度、腰带 |
| I₃+ | 球谐 ≥3 阶 | 多模态、更精细角结构 |
## 关键理论性质
- **不变性**：基选择不变 + 旋转不变（球谐完备度空间）
- **一致性**（Theorem 6）：Î_L → I_L(P)
- **Delta 法渐近正态**（Theorem 7）：非零缺口下的置信区间
- **二阶零校准**（Theorem 8）：2a²_n Î_L ⇒ χ²_q 在 I_L=0 的零假设下
## 参考
- [[gid-sphere-2026|GID 论文]]
- [[entropy-deficit|Entropy Deficit]]
- [[information-gap|Information Gap]]
- [[maximum-entropy-projection|Maximum Entropy Projection]]

1
concepts/harness-engineering.md
View File

@@ -58,3 +58,4 @@ Harness Engineering 是 [[prompt-to-harness-evolution|四阶段演进]] 的第
- [[model-proposes-harness-executes]] — 八条非妥协原则
- [[skill-issue-framework]] — Skill Issue 框架
- [[prompt-to-loop-engineering-2026]] — Datawhale 四阶段综述
- [[agent-harness-survey-2026]] — Agent Harness Survey (Arxiv 2606.20683)

45
concepts/harness-six-components.md Normal file
View File

@@ -0,0 +1,45 @@
---
title: "脚手架六组件模型 (Harness Six Components)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, execution-harness]
sources:
- arxiv:2606.20683
---
# 脚手架六组件模型
## 定义
由 Agent Harness Survey (2026) 提出的执行脚手架**运行时责任解耦**模型，将 harness 分解为六个耦合组件：
$$H = \langle I_{obs}, C, L, I_{act}, S, V \rangle$$
## 六组件
| 组件 | 符号 | 核心问题 |
|------|------|----------|
| [[observation-interface|观测接口]] | I_obs | 哪些环境信号暴露给模型？以何种抽象层次？ |
| [[context-manager|上下文管理器]] | C | 哪些信息进入当前模型调用的上下文？ |
| [[control-loop|控制循环]] | L | 执行如何推进？何时委托？何时终止？ |
| [[action-interface|行动接口]] | I_act | 模型可执行哪些操作？权限如何？ |
| [[state-artifact-store|状态与产物存储]] | S | 什么状态跨步骤持久化？ |
| [[verification-governance|验证与治理]] | V | 执行是否正确？如何约束和修复？ |
## 与功能分类的区别
此解耦是**操作性（operational）**而非功能性（functional）的：
- "记忆"在功能环中是 state，但在部署系统中可能通过 context selection、artifact storage、retrieval indices、checkpointing 多种方式实现
- "行动"不仅仅是抽象 action space，而是由 schema、权限、sandbox、执行 API、side-effect controls 共同介导
## 关键特性
1. **耦合性**：六组件并非独立，设计选择在一个组件上的改变会 reshape 对其他组件的压力（[[cross-layer-interaction|跨层交互]]）
2. **解释了固定模型下的性能差异**：为什么 SWE-agent 仅改 ACI 就能提升性能——改变了 I_obs 和 I_act 的设计
3. **任务结构映射**：不同任务类型对不同组件施加不同压力
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[model-harness-lens|模型-脚手架透镜]]
- [[execution-harness|执行脚手架]]

33
concepts/harness-task-mapping.md Normal file
View File

@@ -0,0 +1,33 @@
---
title: "脚手架-任务映射 (Harness-Task Mapping)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, task-taxonomy]
sources:
- arxiv:2606.20683
---
# 脚手架-任务映射
## 定义
任务结构决定脚手架六组件中哪些成为性能关键。通过脚手架解剖学的视角，一个任务不是应用标签，而是对**观测、上下文、控制、行动、状态和治理的压力剖面**。
## 任务复杂度层次（L1-L4）
| 层次 | 描述 | 示例 | 主要瓶颈 |
|------|------|------|----------|
| L1 | 单步 | 搜索、翻译、计算 | C, V |
| L2 | 多步 | 表单填写、代码生成 | I_act, S, V |
| L3 | 长视界 | 仓库级编码、研究 | C, S, L |
| L4 | 开放域 | 监控、自主探索 | V, L |
## 设计含义
长视界、部分可观测、弱反馈、不可逆行动和自主性要求将压力转移到不同的配置选择：上下文选择、行动抽象、验证循环、checkpoint、权限门控、升级规则。
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[cross-layer-interaction|脚手架跨层交互]]
- [[harness-six-components|脚手架六组件模型]]

52
concepts/information-gap.md Normal file
View File

@@ -0,0 +1,52 @@
---
title: "Information Gap (信息缺口)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["directional-statistics", "information-geometry", "hypothesis-testing", "spherical-data"]
sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
---
# Information Gap (信息缺口)
**信息缺口** I_L(P) = D_L(P) - D_{L-1}(P) 是 [[geometric-information-decomposition|GID]] 的核心诊断量——第 L 级球面特征相对于前一级**新增**的几何信息。
## 恒等式
```
I_L(P) = KL(p^P_L ν ∥ p^P_{L-1} ν)
```
即：第 L 级缺口 = 精炼投影与粗投影之间的 KL 散度。这是 Amari 信息几何中层级 KL 分解的直接推论。
## 三级解释
| 缺口 | 如果大 | 如果 ≈ 0 |
|------|--------|----------|
| **I₁** | 有明确首选方向 → vMF 够用 | 无平均方向偏好 |
| **I₂** | 存在轴性/反极点/腰带结构 → vMF 不足 | 二阶各向同性 |
| **I₃** | 存在多模态或更精细角结构 | 前两级已充分捕获结构 |
## 推断
### 非零缺口（Theorem 7）
当 I_L(P) > 0，Delta 法给出正态近似的置信区间：
```
a_n (Î_L - I_L) ⇒ N(0, γ_Lᵀ Σ_L γ_L)
```
### 零缺口检验（Theorem 8）
当 I_L(P) = 0（即更高阶特征未增加信息），需要**二阶校准**：
```
2a²_n Î_L ⇒ χ²_q （在 i.i.d. 正确设定下）
```
这是检验"是否需要更高级别"的正式统计框架——第一阶导数在零处消失，标准的 Wald 检验不可用。
## 参考
- [[geometric-information-decomposition|GID]]
- [[entropy-deficit|Entropy Deficit]]
- [[maximum-entropy-projection|Maximum Entropy Projection]]

5
concepts/information-geometry.md
View File

@@ -4,7 +4,7 @@ created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["differential-geometry", "statistical-inference", "fisher-metric"]
sources: ["[[dead-directions-geometric-singular-learning]]"]
sources: ["[[dead-directions-geometric-singular-learning]]", "[[cubas-curvature-adaptive-sampling-2026|CuBAS]]", "[[smg-framework-2026|SMG]]"]
---
# 信息几何 (Information Geometry)
@@ -39,3 +39,6 @@ sources: ["[[dead-directions-geometric-singular-learning]]"]
- [[singular-learning-theory|Singular Learning Theory]]
- [[fisher-information-metric|Fisher Information Metric]]
- [[dead-direction|Dead Direction]]
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]] — 利用 Fisher 信息诱导的曲率进行自适应采样
- [[smg-framework-2026|SMG]] — 无穷维 Orlicz 纤维丛，升级有限维信息几何至过参数化场景
- [[gid-sphere-2026|GID]] — 球面上嵌套最大熵投影的层次 KL 分解

39
concepts/learnable-harness.md Normal file
View File

@@ -0,0 +1,39 @@
---
title: "可学习脚手架 (Learnable Harness)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, optimization, meta-learning]
sources:
- arxiv:2606.20683
---
# 可学习脚手架
## 定义
**可学习脚手架**是 Harness Engineering（Phase 3）内部的进阶趋势：将脚手架本身——路由策略、工具暴露、记忆使用、验证策略——视为**可优化的第一类对象**，而非手工设计的固定运行时配置。
## 代表系统
| 系统 | 优化机制 | 核心贡献 |
|------|---------|----------|
| **NLAH** | 手动编辑 | 脚手架逻辑作为可移植、可检视的运行时产物 |
| **Meta-Harness** | 搜索 | 脚手架配置作为可搜索的设计空间 |
| **AHE** | 轨迹驱动适应 | 固定基座模型下，从 observability-driven 反馈演化运行时组件 |
## 与 Prompt Engineering 的类比
正如 Phase 1 中 prompt 从手工编写变为自动优化，Phase 3 中脚手架策略正从手工设计走向自动优化。不同之处在于优化对象是**运行时策略**（routing、tool exposure、memory use、verification）而非单次推理的指令。
## 核心转变
可学习脚手架标志着 Agent 系统性质的根本变化：
- 轻量级 prompt 驱动循环仍可在短视界上表现像 Agent
- 但可靠的长期任务完成越来越需要**设计一个可组合、可优化的多模型运行时，带显式的编排、验证和适应策略**
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-engineering|脚手架工程]]
- [[multi-model-harness|多模型脚手架]]
- [[model-harness-coevolution|模型-脚手架协同演化]]

24
concepts/learnable-tokens-sparse.md Normal file
View File

@@ -0,0 +1,24 @@
---
title: "可学习Token稀疏预测 (Learnable Tokens for Sparse Prediction)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [computer-vision, sparse-prediction, tokens]
sources:
- arxiv:2607.09024
---
# 可学习 Token 稀疏预测
## 定义
GenCeption 中处理稀疏视觉任务（2D/3D 关键点预测）的轻量级扩展机制。通过在视频 latent 上附加可学习 token，保持与预训练 DiT 的兼容性，同时支持结构化坐标输出。
## 设计
- 附加 T 个可学习 token（每帧一个）
- 使用 DiT 的 3D RoPE，空间位置可学习，时间位置通过位置插值降采样
- 经过 DiT → MLP 解码为 K 维坐标
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]

51
concepts/low-curvature-high-curvature-decomposition.md Normal file
View File

@@ -0,0 +1,51 @@
---
title: "Low/High Curvature Decomposition (低/高曲率分解)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["graph-partitioning", "adaptive-sampling", "curvature", "data-reduction"]
sources: ["[[cubas-curvature-adaptive-sampling-2026|CuBAS]]"]
---
# Low/High Curvature Decomposition (低/高曲率分解)
CuBAS 的核心操作是将带标签 k-NN 图按局部曲率分为两个互补区域：
```
L = {i : S_i(β) < T} — 低曲率节点
H = {i : S_i(β) ≥ T} — 高曲率节点
```
## 两个区域的语义
| 区域 | 位置 | 信息量 | 筛选策略 |
|------|------|--------|---------|
| **L (低曲率)** | 簇内部、均匀邻域 | 低冗余 | 随机采样少量原型 |
| **H (高曲率)** | 决策边界、异质邻域 | 高判别力 | 尽可能保留 |
## 信号处理类比
- **L 节点** ≈ 低通滤波：保留主导簇结构、类内一致性
- **H 节点** ≈ 高通滤波：突出标签急剧变化处（类边界）
## 采样策略
给定训练比例 p：
```
N_L = ⌊p|L|⌋ → 从 L 无放回随机采样
N_H = ⌊p|H|⌋ → 从 H 无放回随机采样
D_train = [X_L, X_H]
D_test = [L\X_L, H\X_H]
```
**关键特性**：在压缩训练集的同时保留 (a) 簇的代表性原型 (b) 边界的关键判别样本。
## 验证
60+ 数据集实验表明，H 节点**系统性地集中在决策边界附近**（可视化显示 black nodes = H）。即使在 wine-quality 等严重类别重叠的数据集上，CuBAS 仍能通过该分解获得显著提升（+25.1pp）。
## 参考
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]]
- [[adaptive-threshold-estimation|Adaptive Threshold Estimation]]
- [[shape-operator|Shape Operator]]

53
concepts/maximum-entropy-projection.md Normal file
View File

@@ -0,0 +1,53 @@
---
title: "Maximum Entropy Projection (最大熵投影)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["maximum-entropy", "exponential-family", "information-geometry", "moment-matching"]
sources: ["Jaynes (1957)", "Csiszar (1975)", "[[gid-sphere-2026|GID (You, 2026)]]"]
---
# Maximum Entropy Projection (最大熵投影)
GID 的核心构造——对每个特征空间 V_L，求解满足 V_L 矩约束的**最大熵密度**。
## 定义
设 V_L ⊂ L²₀(M, ν) 是均值为零的连续函数的有限维空间，φ_L: M → R^{q_L} 为其基。对矩向量 m ∈ ri(M_L)：
```
p_{L,m} = arg max_{p} -∫ p log p dν
s.t. ∫ p dν = 1, ∫ φ_L p dν = m
```
## 指数族形式
最大熵解具有标准指数族密度：
```
p_{L,m}(x) = exp{λ_L(m)ᵀ φ_L(x) - ψ_L(λ_L(m))}
```
其中 ψ_L(λ) = log ∫ exp{λᵀ φ_L(x)} dν(x) 是对数配分函数，λ_L(m) 是 ∇ψ_L(λ) = m 的解。
## 嵌套层次
```
V₀ = {0} → p₀ = ν (均匀分布)
V₁ → p₁ = vMF (1 阶球谐特征)
V₂ → p₂ = Fisher-Bingham 类型 (2 阶球谐特征)
V₃ → p₃ = 高阶指数族
...
```
每级投影是前一级的**细化**：嵌套特征空间保证 p_L 保留 p_{L-1} 的所有矩信息。
## 信息几何解释
最大熵投影等价于在信息几何意义上将 P 向指数族子流形做 **m-projection**（基于 KL 散度的信息投影）。层级 KL-gap 恒等式源于 Amari 的 Pythagorean 定理和信息几何的层次分解。
## 参考
- [[geometric-information-decomposition|GID]]
- [[entropy-deficit|Entropy Deficit]]
- [[information-gap|Information Gap]]

41
concepts/maximum-pseudo-likelihood.md Normal file
View File

@@ -0,0 +1,41 @@
---
title: "Maximum Pseudo-Likelihood (MPL, 最大伪似然)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["parameter-estimation", "markov-random-field", "graphical-models"]
sources: ["Besag (1977)", "[[cubas-curvature-adaptive-sampling-2026|CuBAS]]"]
---
# Maximum Pseudo-Likelihood (MPL)
**Maximum Pseudo-Likelihood**（Besag, 1977）是 Markov 随机场参数估计的常用方法，通过将全局似然替换为局部条件概率的乘积来规避配分函数的计算难题。
## 核心思想
对 [[potts-markov-random-field|Potts MRF]]，全局似然包含不可解的配分函数。MPL 将联合似然近似为：
```
PL(β) = Π_{i=1}^n p(x_i | η_i, β)
```
取对数后：
```
log PL(β) = Σ_{i=1}^n [β U_i(x_i) - log Σ_{ℓ=1}^q exp(β U_i(ℓ))]
```
第一项是观测构型的能量，第二项是归一化项。MPL 零点对应于经验能量与模型期望能量平衡处。
## 渐近性质
Jensen & Künsh (1994) 证明 MPL 估计量在温和正则条件下具有一致性和渐近正态性。
## 在 CuBAS 中
[[cubas-curvature-adaptive-sampling-2026|CuBAS]] 使用 MPL + **割线法**（secant method）估计 Potts MRF 的逆温度参数 β。割线法无需计算导数，具有超线性收敛速度。复杂度 O(T_β·n·q)，通常 T_β < 20 次迭代。
## 参考
- [[potts-markov-random-field|Potts MRF]]
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]]

45
concepts/model-harness-coevolution.md Normal file
View File

@@ -0,0 +1,45 @@
---
title: "模型-脚手架协同演化 (Model-Harness Co-Evolution)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, coevolution, self-improvement]
sources:
- arxiv:2606.20683
---
# 模型-脚手架协同演化
## 定义
Agent 工程第四范式（Phase 4）的第二方向。**模型-脚手架协同演化**将 Agent 工程从一次性训练扩展到全栈持续改进——模型、脚手架和改进策略在部署过程中可能全部更新，利用执行反馈决定哪些更改保留、修正或回滚。
## 三层区分
Agent Harness Survey 将常被混为一谈的"自我进化"拆解为三层：
| 层次 | 定义 | 代表系统 |
|------|------|----------|
| [[multi-model-harness|多模型脚手架]] | 谁执行每个运行时角色 | OpenHands, MagenticOne |
| [[learnable-harness|可学习脚手架]] | 运行时策略如何被优化 | NLAH, Meta-Harness, AHE |
| **协同演化** | 模型+脚手架+改进循环何时及如何联合更新 | EvolveR, Hyperagents, Darwin Gödel Machine |
## 关键系统
- **EvolveR / AgentEvolver**：将交互轨迹作为可重用学习信号（self-questioning, navigation, attribution）
- **Continual Harness**：在线适应，不依赖推理时的稠密外部奖励
- **AHE（Agentic Harness Engineering）**：脚手架侧演化——固定基座模型下，运行时组件从 observability-driven 反馈中演化
- **SICA / Darwin Gödel Machine / Hyperagents**：递归自我改进——改进机制本身可能随时间可修改
## 核心命题
行为内部化（[[agent-native-training|Agent 原生训练]]）不消除脚手架——它改变了分工：
- 更多短视界行为移入模型参数
- 运行时仍提供环境访问、状态和安全控制
- 开放问题：如何安全地让模型+脚手架+改进策略联合演化，不牺牲可检视性和安全性
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[agent-native-training|Agent 原生训练]]
- [[learnable-harness|可学习脚手架]]
- [[four-paradigms-agent-engineering|Agent 工程四范式]]

42
concepts/model-harness-lens.md Normal file
View File

@@ -0,0 +1,42 @@
---
title: "模型-脚手架透镜 (Model-Harness Lens)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, model-harness-coevolution]
sources:
- arxiv:2606.20683
---
# 模型-脚手架透镜
## 定义
**模型-脚手架透镜**是将 LLM-based Agent 理解为基础模型（M）与执行脚手架（H）耦合体的分析框架。形式化定义：
$$A_{LLM} = \langle M, H \rangle = \langle M, I_{obs}, C, L, I_{act}, S, V \rangle$$
其中 M 是模型层（可为单模型或模型集合 {M₁, ..., Mₖ}），H 是包含六个运行时组件的执行脚手架。
## 核心主张
传统的"The larger the model, the better the agent"假设在 Agent 任务上失效。脚手架透镜的核心主张：**Agent 质量（成功率、效率、安全性、泛化）不是模型能力的线性函数，而是模型能力、运行时基础设施、任务结构、评估设计四者之间交互的 emergent property。**
证据来源：
- SWE-agent：仅重新设计 agent-computer interface（ACI），固定模型下 SWE-bench 显著提升
- NLAH：脚手架模块作为便携式可编辑产物，贡献可测量且可加和
- Meta-Harness：脚手架配置搜索可超越手工设计基线
## 与传统框架的差异
| 框架类型 | 组织逻辑 | 局限 |
|---------|---------|------|
| 模块化分类（记忆/规划/行动） | 功能模块清单 | 未解释模块间运行时耦合 |
| 脑-感知-行动框架 | 认知层次 | 忽略执行基础设施 |
| **模型-脚手架透镜** | 运行时责任解耦 | 强调执行层面瓶颈 |
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[execution-harness|执行脚手架]]
- [[harness-six-components|脚手架六组件模型]]
- [[model-harness-coevolution|模型-脚手架协同演化]]

47
concepts/multi-model-harness.md Normal file
View File

@@ -0,0 +1,47 @@
---
title: "多模型脚手架 (Multi-Model Harness)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, multi-agent, model-routing]
sources:
- arxiv:2606.20683
---
# 多模型脚手架
## 定义
**多模型脚手架**是 Harness Engineering（Phase 3）内部的关键子趋势：脚手架不再以单一模型作为每步的认知引擎，而是**组合异构模型**完成规划、编码、工具使用、验证、检索和领域特定子任务。
## 形式化
当 |M| > 1 时，M = {M₁, ..., Mₖ} 表示具有异质能力、成本和上下文限制的骨干模型集合。此时脚手架不仅执行六组件职责，还必须额外决定**每一步由哪个模型行动**。
## 控制循环的转变
| 单模型 | 多模型 |
|--------|--------|
| "一个模型迭代至完成" | "运行时决定哪个模型下一步行动" |
| 推理和行动在同一上下文窗口 | 不同模型在不同上下文权限下行动 |
| 验证通常是后置 | 不同模型专责验证 |
## 典型组合模式
- **Planner-Executor-Verifier** 分解（SGAgent 等）
- **Specialist routing**（编码模型、检索模型、验证模型各司其职）
- **Debate/committee-style** 验证（AI Committee）
- **Sub-agent handoff**（父 Agent 委托子 Agent 完成独立子任务）
## 对脚手架六组件的影响
多模型设计首先强调 [[control-loop|控制循环 L]]，但也重塑：
- [[context-manager|上下文管理器 C]]：不同模型可能接收不同上下文
- [[action-interface|行动接口 I_act]]：不同模型可能在不同权限范围下行动
- [[verification-governance|验证与治理 V]]：不同模型可能有不同的验证角色
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-engineering|脚手架工程]]
- [[learnable-harness|可学习脚手架]]
- [[control-loop|控制循环]]

47
concepts/observation-interface.md Normal file
View File

@@ -0,0 +1,47 @@
---
title: "观测接口 (Observation Interface, I_obs)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, observation]
sources:
- arxiv:2606.20683
---
# 观测接口 (I_obs)
## 定义
脚手架六组件之一。**观测接口**决定哪些环境信号暴露给模型，以及这些信号如何呈现。它将外部状态（terminal output、file diffs、screenshots、web DOMs、API responses、event streams、logs）转化为当前模型调用可消费的观测。
## 设计空间
三个核心问题：
1. **哪些状态相关**（relevance）——不是暴露所有可用状态，而是暴露决策相关状态
2. **以何种抽象层次呈现**（representation）——原始输出 vs. 结构化摘要
3. **何时刷新**（refresh）——观测的有效期管理
## 核心权衡
**丰富性 vs. 可处理性**：
- 丰富观测改善接地性（grounding），但增加上下文成本和干扰项
- 压缩观测更易处理，但可能丢弃任务关键证据
## 代表性案例
- **SWE-agent**：重新设计 agent-computer interface（ACI），固定模型下显著提升编码 Agent 性能——证明了 I_obs 设计本身就是性能杠杆
- **WebArena / OSWorld**：在 web/desktop 环境中，成功取决于视觉和结构复杂的界面状态能否转化为模型可用的形式
## 开放问题
在部分可观测性、多模态状态和长轨迹条件下，设计**既保真又对决策有用的观测接口**。
## 与其他组件的耦合
- 与 [[context-manager|C 上下文管理]] 紧密耦合：更丰富的观测改善接地但增加上下文选择、压缩和格式化的成本
- 与 [[verification-governance|V 验证与治理]] 交互：观测质量直接影响验证信号的质量
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-six-components|脚手架六组件模型]]
- [[execution-harness|执行脚手架]]

53
concepts/observed-fisher-information.md Normal file
View File

@@ -0,0 +1,53 @@
---
title: "Observed Fisher Information (观测 Fisher 信息)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["information-geometry", "fisher-information", "curvature", "statistical-inference"]
sources: ["Lehmann & Casella (2011)", "[[cubas-curvature-adaptive-sampling-2026|CuBAS]]"]
---
# Observed Fisher Information (观测 Fisher 信息)
在[[information-geometry|信息几何]]中，**Fisher 信息**的双重角色——定义度量张量和刻画曲率——由其一阶和二阶形式分别承担。
## 定义
对参数模型 p(x; θ)，θ ∈ R：
- **一阶 Fisher 信息**（度量结构）：I(θ) = E[(∂/∂θ log p)²]
- **二阶 Fisher 信息**（曲率结构）：II(θ) = -E[∂²/∂θ² log p]
## 在 Potts MRF 中的观测形式
由于期望不可解，[[cubas-curvature-adaptive-sampling-2026|CuBAS]] 采用经验近似（大数定律）：
```
Φ_i(β) = [∂/∂β log p(x_i | η_i, β̂)]²
Ψ_i(β) = -∂²/∂β² log p(x_i | η_i, β̂)
```
计算得到封闭形式：
```
Φ_i(β) = [U_i(x_i) - Σ_ℓ U_i(ℓ) exp(βU_i(ℓ)) / Σ_ℓ exp(βU_i(ℓ))]²
Ψ_i(β) = Var_β[U_i(·)] → 局部能量的条件方差
```
## 张量化计算
CuBAS 通过 Kronecker 积和 Hadamard 积实现矢量化：
- 定义向量 v⃗（能量差）和 w⃗（exp 权重）
- Φ_i、Ψ_i 表示为 (v⃗ ⊙ w⃗) ⊗ (v⃗ ⊙ w⃗) 和加权组合
## 与统计流形曲率的关系
在 CuBAS 中，Φ_i 和 Ψ_i 共同构成局部[[shape-operator|shape operator]]，二者的比值刻画了标签图的**统计弯曲程度**——这是 CuBAS 区分决策边界和簇内部的核心机制。
## 参考
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]]
- [[potts-markov-random-field|Potts MRF]]
- [[shape-operator|Shape Operator]]
- [[fisher-information-metric|Fisher Information Metric]]
- [[information-geometry|Information Geometry]]

54
concepts/orlicz-statistical-manifold.md Normal file
View File

@@ -0,0 +1,54 @@
---
title: "Orlicz Statistical Manifold (Orlicz 统计流形)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["information-geometry", "functional-analysis", "banach-space", "non-parametric-statistics"]
sources: ["Pistone & Sempi (1995)", "[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---
# Orlicz Statistical Manifold (Orlicz 统计流形)
SMG 的总空间 M 是构建在**指数 Orlicz 空间**上的无穷维非参数统计流形——这是 Amari 有限维参数流形的根本性升级。
## Pistone-Sempi 构造
对 σ-有限测度空间 (X, Σ, µ)，定义 Young 函数 Φ(u) = cosh(u) - 1（指数增长）：
```
M = { f : X → R⁺ | ∫_X f(x)µ(dx) = 1, ln(f/f_Ref) ∈ L^Φ(P_Ref) }
```
切空间同构于中心化 Orlicz 子空间：
```
Tf M = { v ∈ L^Φ(Pf) | E_f[v(X)] = 0 }
```
## 为什么需要 Orlicz 空间？
| 空间类型 | 适用模型 | 局限 |
|---------|---------|------|
| L² (Hilbert) | 参数模型 | Fisher 度量定义域不足 |
| L^Φ (Orlicz) | 非参数 Bayes / 变换器 | 支持指数尾分布族 |
| Banach 流形 | 一般光滑结构 | 缺少自然内积 |
Orlicz 空间 L^Φ 通过 Luxemburg 范数 ‖u‖_{L^Φ} = inf{ k>0 : E[Φ(u/k)] ≤ 1 } 提供了适当的拓扑，支持指数族和更广泛的非参数分布类。
## 在 SMG 中的角色
SMG 的无穷维 Orlicz 总流形 M 是整个纤维丛的底空间承载者：
- **dim(M) = ∞** → 容纳万亿参数的垂直操作空间
- **dim(B) = d**（可观测特征维度）→ 统计可见的真实复杂度
- M 的"过度维度"不是缺陷——它是 **Blessing of Dimensionality** 的拓扑基础
## 与 [[statistical-manifold|标准统计流形]] 的区别
标准统计流形（Amari）假设有限参数化 p_θ。SMG 的 Orlicz 流形接受**任何**绝对连续概率测度，无需参数坐标。
## 参考
- [[statistically-meaningful-geometry|SMG]]
- [[statistical-manifold|Statistical Manifold]]
- [[information-geometry|Information Geometry]]

45
concepts/outcome-first-prompting.md Normal file
View File

@@ -0,0 +1,45 @@
---
title: "结果优先提示 (Outcome-First Prompting)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [prompt-engineering, agent, gpt5.6]
sources:
- https://developers.openai.com/api/docs/guides/prompt-guidance-gpt-5p6
- openai-gpt5p6-prompt-guide-2026
---
# 结果优先提示
## 定义
GPT-5.6 Prompt 指南的核心原则之一：**比起规定模型的每一步，更重要的是写清最终结果。** 从过程导向转向结果导向。
## 旧范式 vs. 新范式
| 旧范式（过程导向） | 新范式（结果导向） |
|-------------------|-------------------|
| "先搜索，再读取文件，接着调用工具 X，最后按 Y 格式输出" | "目标是 Z，可用的证据包括 A/B/C，行动边界内于 D，验收标准为 E" |
| 固定执行顺序 | 模型自主选择执行路径 |
| 对所有情况预设流程 | 提供判断标准和原则 |
## 关键要素
写清四件事：
1. **最终目标**：任务要达成什么
2. **可用证据**：什么信息算是有效的
3. **行动边界**：什么可以做、什么不能做
4. **验收标准**：怎样算任务完成
## ALWAYS/NEVER/MUST 的保留
不是说不能用——安全限制、必填字段、禁止操作仍需明确。但"是否继续搜索"、"何时调用工具"、"信息不足时是否追问"更适合提供判断标准而非固定流程。
## 与 [[stopping-conditions-prompt|停止条件]] 的关系
结果优先必然要求提前写清停止条件：证据足够时进入交付，缺少关键事实时说明缺什么并低成本补充。
## 参考
- [[openai-gpt5p6-prompt-guide-2026|GPT-5.6 Prompt 指南]]
- [[prompt-simplification|Prompt 做减法]]
- [[prompt-structure-framework|Prompt 结构框架]]

42
concepts/potts-markov-random-field.md Normal file
View File

@@ -0,0 +1,42 @@
---
title: "Potts Markov Random Field (Potts MRF)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["markov-random-field", "graphical-models", "statistical-physics", "adaptive-sampling"]
sources: ["[[cubas-curvature-adaptive-sampling-2026|CuBAS]]"]
---
# Potts Markov Random Field (Potts MRF)
**Potts MRF** 是 Ising 模型向 q 个离散状态的推广，最初用于自旋系统的统计物理研究，现已发展为图结构数据上离散变量交互的通用概率框架。
## 局部条件分布
在 k-NN 图上，各向同性 pairwise q-state Potts 模型的局部条件分布为：
```
p(x_i = m | η_i, β) = exp(β U_i(m)) / Σ_{ℓ=1}^q exp(β U_i(ℓ))
```
其中 U_i(m) 是节点 i 的邻居中标签为 m 的个数，β 为逆温度参数。
## β 的作用
- **β 大**：邻居标签强一致 → 均匀簇
- **β = 0**：统计独立，所有标签等概率
- **β 控制**了图的"平滑度"，决定了标签配置的空间结构
## 在 CuBAS 中的角色
[[cubas-curvature-adaptive-sampling-2026|CuBAS]] 将带标签 k-NN 图建模为 Potts MRF，将数据集视为由 β 参数化的[[statistical-manifold|统计流形]]。通过该模型的[[observed-fisher-information|观测 Fisher 信息]]构造局部曲率算子[[shape-operator|shape operator]]，使样本筛选成为几何推断问题。
## Hammersley-Clifford 定理
该定理保证 Potts 模型同时具有全局 Gibbs 分布和局部条件分布两种等价表示。CuBAS 采用后者，避免全局配分函数的不可解性。
## 参考
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]]
- [[maximum-pseudo-likelihood|MPL Estimation]]
- [[observed-fisher-information|Observed Fisher Information]]

47
concepts/prompt-migration-workflow.md Normal file
View File

@@ -0,0 +1,47 @@
---
title: "Prompt 迁移工作流 (Prompt Migration Workflow)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [prompt-engineering, migration, workflow]
sources:
- https://developers.openai.com/api/docs/guides/prompt-guidance-gpt-5p6
- openai-gpt5p6-prompt-guide-2026
---
# Prompt 迁移工作流
## 定义
GPT-5.6 官方推荐的从旧 Prompt 迁移到新模型的**增量迭代方法**。核心思想：不做一次性大改，而是一小步一小步地删减和验证。
## 流程
```
当前可工作的 Prompt（基线）
↓
删除一组：重复指令 / 无效示例 / 无关工具
↓
同一批评测验证
↓
判断效果 → 保留改动 / 回滚
↓
重复，直到只保留确实影响模型行为的信息
```
## 关键原则
- **增量**：每次只删一组，控制改动范围
- **可归因**：知道是哪项修改影响了表现
- **可回滚**：评测不通过时恢复
- **基线对比**：始终与原始版本比较
## 适用场景
- 模型版本升级（如 GPT-4 → GPT-5.6）
- System Prompt 长期积累了大量 Always/Never/固定流程
- 需要量化 Prompt 改动对 Agent 性能的影响
## 参考
- [[openai-gpt5p6-prompt-guide-2026|GPT-5.6 Prompt 指南]]
- [[prompt-simplification|Prompt 做减法]]

56
concepts/prompt-simplification.md Normal file
View File

@@ -0,0 +1,56 @@
---
title: "Prompt 做减法 (Prompt Simplification)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [prompt-engineering, optimization, agent]
sources:
- https://developers.openai.com/api/docs/guides/prompt-guidance-gpt-5p6
- openai-gpt5p6-prompt-guide-2026
---
# Prompt 做减法
## 定义
OpenAI GPT-5.6 官方指南的核心方法论：**模型越强，Prompt 应该越精简。** 系统性地从 System Prompt 中删除不再影响模型行为的内容，而不是持续添加新规则。
## 效果数据
在 OpenAI 内部 Coding Agent 任务中：
- 评分提高 **10%-15%**
- Token 总量减少 **41%-66%**
- 成本降低 **33%-67%**
## 为什么需要做减法
旧模型时代的 System Prompt 往往经历了长期迭代积累：
- 模型漏掉一个步骤 → 加一条 MUST
- 工具调用出问题 → 补一条 NEVER
- 模型更新后旧规则继续保留
- 重复、过时、矛盾的指令累积
结果：新模型的上下文被大量无关内容占用，甚至互相冲突。
## 方法论
1. 从能正常工作的 Prompt + 工具集开始（基线）
2. 每次**只删除一组**：重复指令 / 无效示例 / 无关工具
3. 用**同一批评测**验证效果
4. 控制改动范围，判断具体是哪项修改影响了表现
## 保留 vs. 删除
| 保留 | 删除 |
|------|------|
| 任务目标 | 不再影响行为的重复规则 |
| 成功标准 | 针对旧模型的补丁 |
| 权限边界 | 过时的警告和示例 |
| 证据要求 | 消耗上下文但无行为影响的文本 |
| 交付前验证方式 | 已被模型内化的指令 |
## 参考
- [[openai-gpt5p6-prompt-guide-2026|GPT-5.6 Prompt 指南]]
- [[outcome-first-prompting|结果优先提示]]
- [[prompt-migration-workflow|Prompt 迁移工作流]]
- [[prompt-engineering|提示工程]]

44
concepts/prompt-structure-framework.md Normal file
View File

@@ -0,0 +1,44 @@
---
title: "Prompt 结构框架 (Prompt Structure Framework)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [prompt-engineering, template, gpt5.6]
sources:
- https://developers.openai.com/api/docs/guides/prompt-guidance-gpt-5p6
- openai-gpt5p6-prompt-guide-2026
---
# Prompt 结构框架
## 定义
OpenAI GPT-5.6 官方推荐的 **8 段式 Prompt 结构**。不是要求每段写长，而是用作检查清单——确认 Prompt 中的每条信息是否真的影响模型行为。
## 八段结构
```
Role → Personality → Goal → Success Criteria → Constraints → Tools → Output → Stop Rules
```
| 段 | 内容 | 何时需要 |
|----|------|---------|
| **Role** | 模型扮演的角色 | 角色影响行为时 |
| **Personality** | 语气、风格、态度 | 输出风格有要求时 |
| **Goal** | 任务最终目标 | 始终需要 |
| **Success Criteria** | 什么算完成 | 始终需要 |
| **Constraints** | 权限边界、安全限制 | 有硬约束时 |
| **Tools** | 可用工具及描述 | Agent 有工具时 |
| **Output** | 输出格式和内容要求 | 格式有要求时 |
| **Stop Rules** | 何时停止、何时继续 | 多步任务时 |
## 核心原则
> "只有确实会影响模型行为的信息，才有必要写进 Prompt。"
这套框架的目的是**消除 Prompt 中的噪声**——如果某段内容删掉后行为不变，就不该保留。
## 参考
- [[openai-gpt5p6-prompt-guide-2026|GPT-5.6 Prompt 指南]]
- [[prompt-simplification|Prompt 做减法]]
- [[outcome-first-prompting|结果优先提示]]

55
concepts/quarantining-theorem.md Normal file
View File

@@ -0,0 +1,55 @@
---
title: "Quarantining Theorem (隔离定理)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["smg", "orthogonal-decomposition", "hallucination-containment", "fisher-metric"]
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---
# Quarantining Theorem (隔离定理)
SMG 的**Quarantining Theorem**（隔离定理）是 [[statistically-meaningful-geometry|SMG]] 框架的基石定理，证明了过参数化模型中的垂直 gauge 噪声可以在几何上被完全隔离。
## 定理陈述
在 SMG 纤维丛 B_SMG = (M, B, π, V, H, ω) 上，对任意点 f ∈ M，切空间分解为 Fisher-Rao 度量 gf 下的正交直和：
```
Tf M = Hf ⊕ Vf, 其中 Hf ⊥_{gf} Vf
```
即：SVDχ（水平统计方向）与 SID（垂直结构方向）严格度量正交。
## 推论：幻觉几何遏制
**Theorem (Hallucination Containment)**：在联络过滤预训练下，模型的 OOD 预测方差由基空间 B 的有限度量直径严格上界约束：
```
Var_OOD ≤ diam_gB(B) < ∞
```
这意味着：
- 尽管参数空间无穷维，生成幻觉的方差**不可能**发散
- 幻觉不是随机现象——它是垂直 gauge 噪声未过滤时对水平信号的**结构性污染**
- SMG 通过几何隔离从根本上消除幻觉产生的拓扑条件
## 隔离机制
```
总梯度 ∇f = P_H(∇f) + P_V(∇f)
──┬─── ──┬───
统计信号 (SVDχ) 规范噪声 (SID)
│ │
▼ ▼
参数更新 (B) 隔离丢弃 (Vf)
```
联络 ω 保证水平分量与垂直分量在 Fisher-Rao 内积下正交 → 两个通道永不串扰。
## 参考
- [[statistically-meaningful-geometry|SMG]]
- [[ehresmann-connection-filtering|Ehresmann Connection Filtering]]
- [[statistically-verifiable-directions|SVDχ]]
- [[structural-internal-directions|SID]]

41
concepts/reasoning-effort-tuning.md Normal file
View File

@@ -0,0 +1,41 @@
---
title: "推理强度调优 (Reasoning Effort Tuning)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [prompt-engineering, reasoning, optimization, gpt5.6]
sources:
- https://developers.openai.com/api/docs/guides/prompt-guidance-gpt-5p6
- openai-gpt5p6-prompt-guide-2026
---
# 推理强度调优
## 定义
GPT-5.6 Prompt 指南中关于 Reasoning Effort 参数的调优原则：**不是越高越好。** 在不必要的推理上花费 Token 是一种隐性成本。
## 调优流程
1. **保留当前档位作为基线**
2. **测试相同档位和更低档位**
3. 只有评测结果证明 high/xhigh 确实带来收益，才承担更高的推理成本
4. **max 仅用于难度最高、质量优先的任务**
## 前置检查
在提升 Reasoning Effort 之前，先检查 Prompt 是否写清了：
- 成功标准
- 依赖关系
- 工具使用条件
- 验证要求
> "如果这些信息不明确，单纯提高 Reasoning Effort 未必能解决问题。"
## 与 Prompt 简化的关系
这呼应了 [[prompt-simplification|Prompt 做减法]] 的核心论点：瓶颈往往不在模型推理能力，而在 Prompt 质量。提高 Reasoning Effort 之前应先优化 Prompt。
## 参考
- [[openai-gpt5p6-prompt-guide-2026|GPT-5.6 Prompt 指南]]
- [[prompt-simplification|Prompt 做减法]]

32
concepts/rothko-raymap.md Normal file
View File

@@ -0,0 +1,32 @@
---
title: "Rothko Raymap"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [computer-vision, camera-pose, representation]
sources:
- arxiv:2607.09024
---
# Rothko Raymap
## 定义
GenCeption 中用于将 **6 通道相机光线数据（3 旋转 + 3 平移）压缩为单张 3 通道 RGB 图像**的空间布局方案。名称来源于其类似 Rothko 绘画的色块排列。
## 设计
相机姿态传统上表示为 4×4 矩阵（旋转+平移）。在 GenCeption 的统一 RGB 表示框架下，需要将 6 通道压缩到 3 通道：
- **中央区域**：光线原点（ray origins, 3 通道）
- **外围区域**：光线方向（ray directions, 3 通道）
通过在空间上分区，6 通道信息被"折叠"进一张标准 RGB 图像，可直接由 DiT + VAE decoder 处理。
## 设计哲学
这是 GenCeption 的 [[data-driven-task-specification|数据驱动任务规约]] 哲学的典型体现：不添加专门的相机姿态 head/decoder/loss，而是**设计一种数据格式将相机信息映射到模型原生的 RGB 像素空间**。
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[unified-task-representation|统一任务表示]]

50
concepts/shape-operator.md Normal file
View File

@@ -0,0 +1,50 @@
---
title: "Shape Operator (形状算子)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["differential-geometry", "curvature", "information-geometry"]
sources: ["[[cubas-curvature-adaptive-sampling-2026|CuBAS]]", "do Carmo (2017)"]
---
# Shape Operator (形状算子)
**Shape Operator**（Weingarten 映射）是微分几何中的基本对象，通过第一和第二基本形式的组合量化曲面局部的弯曲程度。
## 形式定义
设 M 是配备第一基本形式 G(θ) 和第二基本形式 B(θ) 的正则流形：
```
S(θ) = -B(θ) G(θ)^{-1}
```
几何上，S 测量单位法向量沿切方向移动时的变化率。其**特征值**为主曲率，**行列式**为高斯曲率，**迹的一半**为平均曲率。
## 在 CuBAS 中
在 Potts MRF 模型中，统计流形仅由 β 一维参数化 → shape operator 退化为标量：
```
S_i(β) = -Ψ_i(β) / (Φ_i(β) + λ)
```
其中：
- Ψ_i(β) 是节点 i 的局部二阶 [[observed-fisher-information|Fisher 信息]]
- Φ_i(β) 是节点 i 的局部一阶 Fisher 信息
该标量直接度量每个节点的**统计曲率**——高曲率对应决策边界附近、低曲率对应簇内部。
## 与其他曲率概念的区别
| 概念 | 计算对象 | 用途 |
|------|---------|------|
| Shape Operator | 统计流形（Fisher 信息诱导） | 信息量度量 |
| [[curvature-based-adaptive-sampling|CuBAS 曲率]] | 带标签 k-NN 图 | 样本筛选 |
| Ricci Curvature (Ollivier) | 图边的 transport 距离 | 图结构分析 |
## 参考
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]]
- [[statistical-manifold|Statistical Manifold]]
- [[information-geometry|Information Geometry]]

41
concepts/sim-to-real-transfer-vision.md Normal file
View File

@@ -0,0 +1,41 @@
---
title: "Sim-to-Real 视觉迁移 (Sim-to-Real Transfer in Vision)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [computer-vision, transfer-learning, sim-to-real, generalization]
sources:
- arxiv:2607.09024
---
# Sim-to-Real 视觉迁移
## 定义
GenCeption 中展示的关键涌现行为：**仅用合成人类视频训练的模型，能够泛化到真实世界视频和分布外（OOD）物体类别**（动物、机器人等）。
## 现象
GenCeption 的训练数据：
- 800 RenderPeople 3D 资产 + 200 CMU motion capture 动作
- 7,500 段合成人类视频
- 仅覆盖人类
测试泛化：
- ✅ 真实世界人类视频
- ✅ 动物（猩猩、狗等）
- ✅ 拟人化角色
- ✅ 机器人
## 为什么重要
这暗示**视频生成预训练内化了远比表面外观更深层的通用视觉先验**——可能是 3D 几何理解、运动规律、物体结构等跨类别共享的表示。合成数据训练的"人类专用模型"实际上学到了"通用视觉理解"。
## 与其他工作的区别
- 传统 sim-to-real：需要 domain randomization、domain adaptation 等技术
- GenCeption：零样本泛化——预训练的视频生成 backbone 提供的表示已经足够通用
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[video-generation-pretraining|视频生成预训练]]

47
concepts/smg-fiber-bundle.md Normal file
View File

@@ -0,0 +1,47 @@
---
title: "SMG Fiber Bundle (SMG 纤维丛)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["fiber-bundle", "smg", "differential-geometry", "topology"]
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---
# SMG Fiber Bundle (SMG 纤维丛)
[[statistically-meaningful-geometry|SMG]] 的数学架构——一个六元组 **BSMG = (M, B, π, V, H, ω)**，明确定义了过参数化统计系统的拓扑管辖权。
## 六元组定义
| 组件 | 类型 | 角色 |
|------|------|------|
| **M** | 无穷维 [[orlicz-statistical-manifold|Orlicz 统计流形]] | 总空间——所有有效概率密度 |
| **B** | 光滑 Hausdorff 统计流形，dim = d | 可识别宏观统计轮廓的基空间 |
| **π** | 光滑满射 M → B | 投影——将密度映射为可观测统计轮廓 |
| **V** | dim = ∞ | 垂直子空间 SID = ker(dπ) |
| **H** | dim = d | 水平分布 SVDχ——与 V 度量正交 |
| **ω** | Ehresmann 联络 1-形式 | 动态几何过滤器 |
## 为什么拒绝主丛 + Lie 群？
SMG **明确拒绝**主纤维丛和 Lie 群公式（标准规范场论范式），因为：
> 过参数化统计模型中的结构对称性（节点排列、尺度不变性）不构成自由且 proper 的齐性群作用。
SMG 采用**一般纤维丛 + Ehresmann 联络**——不需要群结构即可定义垂直/水平分解。
## 与 Amari 信息几何的比较
| | Amari 信息几何 | SMG |
|---|---|---|
| 总空间 | 有限维参数流形 | 无穷维 Orlicz 流形 |
| 结构 | 单一流形 | 纤维丛 |
| 切空间 | 单一 T_θ | 正交直和 Hf ⊕ Vf |
| 过参数化处理 | 不可处理（Fisher 退化） | 自然隔离（SID） |
## 参考
- [[statistically-meaningful-geometry|SMG]]
- [[orlicz-statistical-manifold|Orlicz Statistical Manifold]]
- [[ehresmann-connection-filtering|Ehresmann Connection Filtering]]
- [[information-geometry|Information Geometry]]

43
concepts/smg-sequential-adaptation-flow.md Normal file
View File

@@ -0,0 +1,43 @@
---
title: "SMG Sequential Adaptation Flow (SMG 序列适应流)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["catastrophic-forgetting", "continual-learning", "smg", "orthogonal-projection"]
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---
# SMG Sequential Adaptation Flow (SMG 序列适应流)
SMG 框架对**灾难性遗忘**的非渐近完全消除方案——通过几何投影保证下游更新不影响历史学习。
## 核心机制
当模型需要学习新任务时，SMG 不依赖经验微调，而是：
1. **记录历史水平支架（Horizontal Carriage）**：保存先前任务在 SVDχ 空间中学习的水平方向基
2. **正交投影**：将新任务的下游更新投影到历史水平支架的**正交补**上
3. **仅在未占用方向学习**：新知识被编码在严格正交于旧知识的方向上
```
Δ_new = P_{orth(H_old)} (∇_loss)
```
## 定理：遗忘消除
**Theorem (Non-Asymptotic Forgetting Elimination)**：在 SMG Sequential Adaptation Flow 下，对任意任务序列，之前学到的 SVDχ 分量的 Fisher 信息在后续更新中**严格保持不变**——灾难性遗忘在非渐近意义下完全消除。
## 与经验方法的对比
| 方法 | 原理 | 保证 |
|------|------|------|
| EWC | Fisher 加权正则化 | 渐近近似 |
| PackNet | 硬参数隔离 | 需要预分配 |
| Replay | 数据回放 | 存储昂贵 |
| **SMG Sequential Flow** | **几何正交投影** | **非渐近完全** |
## 参考
- [[statistically-meaningful-geometry|SMG]]
- [[quarantining-theorem|Quarantining Theorem]]
- [[statistically-verifiable-directions|SVDχ]]

59
concepts/spherical-harmonic-features.md Normal file
View File

@@ -0,0 +1,59 @@
---
title: "Spherical Harmonic Features (球谐特征)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["spherical-harmonics", "directional-statistics", "harmonic-analysis", "gid"]
sources: ["[[gid-sphere-2026|GID (You, 2026)]]"]
---
# Spherical Harmonic Features (球谐特征)
在 [[geometric-information-decomposition|GID]] 中，嵌套特征空间 V_L 的标准选择是**完备球谐度空间**。
## 构造
在 S^{d-1} 上，球谐函数按**度** (degree) 组织：
```
V_L = span{ 所有球谐函数 up to degree L }
```
- V₀ = {0}（均匀分布）
- V₁ = 线性球谐 — dim = d — 捕获平均方向
- V₂ = 二次球谐 — dim = d(d+1)/2 - 1 — 捕获轴性、椭圆度
- V₃+ = 三次及以上 — 捕获多模态
## 关键性质
### 旋转不变性
完备球谐度空间在旋转群 SO(d) 作用下闭合 → GID 分解**旋转不变**：
```
D_L(g_#P) = D_L(P), I_L(g_#P) = I_L(P), ∀g ∈ SO(d)
```
### 维度扩展
| d | dim(V₁) | dim(V₂) | dim(V₃) |
|---|---------|---------|---------|
| 2 | 2 | 2 | 2 |
| 3 | 3 | 5 | 7 |
| 10 | 10 | 54 | 154 |
| 100 | 100 | 5049 | 166649 |
高维场景（如嵌入向量 d ≥ 100）中，完全球谐拟合在计算上不可行 → GID 支持**结构化/投影特征空间**作为替代。
## 与其他基的关系
GID 明确设计为**基无关**的——任何满足连续性和嵌套条件的函数空间均可使用。球谐之所以被推荐，是因为：
1. 旋转不变性
2. 清晰的度数→几何结构对应
3. 前两级与已知方向分布（vMF、Fisher-Bingham）精确对齐
## 参考
- [[geometric-information-decomposition|GID]]
- [[maximum-entropy-projection|Maximum Entropy Projection]]
- [[information-gap|Information Gap]]

49
concepts/state-artifact-store.md Normal file
View File

@@ -0,0 +1,49 @@
---
title: "状态与产物存储 (State and Artifact Store, S)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, state-management, memory]
sources:
- arxiv:2606.20683
---
# 状态与产物存储 (S)
## 定义
脚手架六组件之一。**状态与产物存储**跨步骤、会话和子任务持久化执行状态。它通过存储任务进度、执行轨迹、计划、checkpoint、diff、生成文件、记忆记录等可重用产物，提供超越活跃上下文窗口的连续性。
## 设计空间
- **粒度**：存储什么粒度的状态（session-level、step-level、artifact-level）
- **持久化范围**：跨步骤 vs. 跨会话 vs. 跨 Agent
- **存储形式**：原始轨迹 vs. 结构化记录 vs. 向量嵌入
- **更新策略**：append-only vs. 选择性覆盖 vs. 合并
## 核心权衡
**完整性 vs. 可用性**：
- 更丰富的状态改善连续性和可审计性，但增加检索负担、噪声和过时记忆风险
- 实际挑战不是存更多，而是决定什么值得持久化、什么应压缩、什么应丢弃
## 实现策略
| 策略 | 代表系统 | 特点 |
|------|---------|------|
| Session-level histories | 基础 Agent 框架 | 简单但不可扩展 |
| 显式长期记忆 | MemGPT | 活跃上下文外独立记忆 |
| 产物中心 | OpenAI 实践 | 通过 logs、diffs、checkpoints 跟踪状态 |
## 与记忆系统的关系
S 组件与 [[agent-memory-five-category-model|Agent 记忆五类模型]] 中的 episodic memory 和 knowledge store 对应。关键区别：S 是**运行时操作视角**，关注什么状态在什么粒度被持久化、检索、复用——而非纯粹的概念分类。
## 开放问题
在支持 rollback、委托和记忆复用的同时保持状态保真度——不积累漂移或过时信息。
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-six-components|脚手架六组件模型]]
- [[context-manager|上下文管理器]]

4
concepts/statistical-manifold.md
View File

@@ -4,7 +4,7 @@ created: 2026-06-23
updated: 2026-06-23
type: concept
tags: ["information-geometry", "differential-geometry", "riemannian-geometry", "fisher-metric"]
sources: ["Amari & Nagaoka (2000)", "Amari (2016)", "https://arxiv.org/abs/2606.18306"]
sources: ["Amari & Nagaoka (2000)", "Amari (2016)", "https://arxiv.org/abs/2606.18306", "[[cubas-curvature-adaptive-sampling-2026|CuBAS]]", "[[smg-framework-2026|SMG]]"]
---
# Statistical Manifold (统计流形)
@@ -52,3 +52,5 @@ v ↦ G(θ)^{1/2} v
- [[fisher-information-metric|Fisher Information Metric]]
- [[fisher-width|Fisher Width]]
- [[gaussian-width|Gaussian Width]]
- [[cubas-curvature-adaptive-sampling-2026|CuBAS]] — Potts MRF 诱导的一维统计流形曲率
- [[smg-framework-2026|SMG]] — 无穷维 Orlicz 统计流形上的纤维丛结构

59
concepts/statistically-meaningful-geometry.md Normal file
View File

@@ -0,0 +1,59 @@
---
title: "Statistically Meaningful Geometry (SMG, 统计意义几何)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["information-geometry", "fiber-bundle", "over-parameterization", "differential-geometry", "generative-ai"]
sources: ["[[smg-framework-2026|SMG 论文 (Cheng et al., 2026)]]"]
---
# Statistically Meaningful Geometry (SMG)
**SMG** 是 Cheng, Niu, Tong & Yau (2026) 提出的信息几何新范式，将过参数化模型的统计推断从平坦欧几里得容器升级为无穷维非参数统计纤维丛。
## 核心理念
传统统计和信息几何将参数空间视为**被动欧几里得容器**——当 p → ∞ 时崩溃。SMG 将其替换为**主动流形**：空间的几何结构主动决定统计结果的合法性、可验证性和优化路径。
## 四大公理
| 公理 | 含义 |
|------|------|
| **System Set S** | 系统的高维/无穷维内部配置空间（Ambient Optimization Reservoir） |
| **Environment Set E** | 可测样本空间 (X, Σ)，满足测度论完备性 |
| **Structural Mechanism F** | 满射 F: S → M，将内部配置映射到概率密度 |
| **Invariance Principle** | 统计推断必须在 F 的纤维内部变换下不变——纯 SID 内移动 = 零信息变化 |
## SMG 纤维丛
```
Total Space M (无穷维 Orlicz 流形)
│ π (投影)
▼
Base Manifold B (有限维可识别宏观统计轮廓)
│
├─ Vertical Fiber F_p = π⁻¹(p) — SID，内部自由度
└─ Horizontal Distribution H_f — SVDχ，统计可验证方向
```
## 三大贡献
1. **Quarantining Theorem**：正交度量分解 Tf M = Hf ⊕ Vf，垂直 gauge 噪声与水平统计信号严格隔离
2. **Capacity Collapse Theorem**：尽管参数量无限，泛化误差仅由基空间 B 的有限度量体积约束
3. **SMG Sequential Adaptation Flow**：灾难性遗忘的非渐近完全消除
## 与传统框架的关系
| 框架 | 空间 | 维度 | 核心问题 |
|------|------|------|---------|
| 经典统计 | Rp | 有限 | 维数灾 |
| Amari 信息几何 | 参数流形 | 有限 | 无法处理过参数化 |
| **SMG** | **无穷维 Orlicz 丛** | **∞** | **垂直 gauge 过滤 + 水平统计** |
## 参考
- [[smg-framework-2026|SMG 论文]]
- [[statistically-verifiable-directions|SVDχ]]
- [[structural-internal-directions|SID]]
- [[two-fold-inference-paradigm|Two-Fold Inference]]
- [[information-geometry|Information Geometry]]

44
concepts/statistically-verifiable-directions.md Normal file
View File

@@ -0,0 +1,44 @@
---
title: "Statistically Verifiable Directions (SVDχ, 统计可验证方向)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["information-geometry", "smg", "statistical-inference", "fisher-metric"]
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---
# Statistically Verifiable Directions (SVDχ)
**SVDχ**（Statistical Variational Directions）是 [[statistically-meaningful-geometry|SMG]] 框架中水平切子空间 Hf，定义为参数变化**产生严格正 Fisher 信息方差**的方向——即能被有限经验数据检测到的变化。
## 形式化定义
在 Orlicz 总流形 M 的任意点 f，SVDχ 由非参数 Stein 得分函数张成：
```
Hf ≡ SVDχ := span{ ∂ ln f(u) / ∂u_i }_{i=1}^d
```
关键性质：
- **dim(SVDχ) = d**：有限维，匹配可观测协变量的维度
- **Fisher-Rao 度量严格正定**：在 Hf 上可逆，经典统计效率界恢复
- **与 SID 正交**：gf(h, v) = 0, ∀h ∈ Hf, v ∈ Vf
## SVDχ 上的操作
SMG 的 **Two-Fold Inference Paradigm** 的第一折——水平统计推断——在 SVDχ 上执行：
- **MLE / 贝叶斯更新**：在 Hf 坐标上运行经典统计
- **自然梯度下降**：仅沿 SVDχ 方向更新参数
- **模型选择准则**（AIC/BIC）：仅在 d 维基空间上计算复杂度
## 与非退化 Fisher 信息的关系
在 SVDχ 上，每个空间位移对应分布的可观测变化——这与 [[fisher-information-metric|Fisher 信息度量]] 的标准假设一致。SMG 的贡献在于**将 Fisher 非退化从整个参数空间的假设转化为纤维丛的拓扑约束**：仅在 Hf 上要求正定性，在 Vf（SID）上允许完全退化。
## 参考
- [[statistically-meaningful-geometry|SMG]]
- [[structural-internal-directions|SID]]
- [[two-fold-inference-paradigm|Two-Fold Inference]]
- [[fisher-information-metric|Fisher Information Metric]]

24
concepts/stopping-conditions-prompt.md Normal file
View File

@@ -0,0 +1,24 @@
---
title: "停止条件 (Stopping Conditions in Prompts)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [prompt-engineering, agent, control]
sources:
- openai-gpt5p6-prompt-guide-2026
---
# 停止条件
## 定义
GPT-5.6 Prompt 指南强调的 Agent 行为约束：在 Prompt 中前置声明何时应停止执行、何时应继续。减少重复搜索和无效 Token 消耗。
## 两种条件
- **证据足够** → 进入交付，不再继续搜索
- **缺少关键事实** → 说明缺什么，选择成本较低的方式补充
## 参考
- [[openai-gpt5p6-prompt-guide-2026|GPT-5.6 Prompt 指南]]
- [[outcome-first-prompting|结果优先提示]]

52
concepts/structural-internal-directions.md Normal file
View File

@@ -0,0 +1,52 @@
---
title: "Structural Internal Directions (SID, 结构内部方向)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["over-parameterization", "gauge-symmetry", "smg", "differential-geometry"]
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---
# Structural Internal Directions (SID)
**SID**（Structural Internal Directions）是 [[statistically-meaningful-geometry|SMG]] 中垂直切子空间 Vf = ker(dπf)，包含所有不改变宏观概率分布的参数变化方向。
## 形式化定义
```
Vf ≡ SID := { v ∈ Tf M | dπf(v) = 0 }
= { v ∈ Tf M | gf(v, s_i) = 0, ∀i = 1,...,d }
```
其中 gf 是 Fisher-Rao 度量，s_i 是 SVDχ 的基。
由于 **dim(M) = ∞** 而 **dim(SVDχ) = d**，由 Rank-Nullity 定理推出 **dim(SID) = ∞**。
## 物理来源
SID 编码了过参数化网络中的：
- 隐藏节点排列对称性
- 尺度不变性（ReLU: W → αW, W' → W'/α）
- 权重空间内的规范冗余（gauge redundancies）
- 无穷维内部自由度（IDoF）
## SMG 的创新视角
传统观点将 SID 视为需要剪枝的**病理**。SMG 将其重新定义为：
1. **Structural Internal Capacity**：必需的内部工作空间
2. **Frictionless Thermodynamic Reservoir**：零一阶统计方差 → 优化器可在其中自由导航，平滑规避局部极小值而不影响输出
3. **Absorptive Capacity**：吸收环境噪声和架构扰动
## 与 Dead Direction 的对比
| 概念 | 框架 | 语义 |
|------|------|------|
| SID | SMG (Cheng et al.) | 垂直 gauge 空间，零统计方差但**有结构功能** |
| [[dead-direction|Dead Direction]] | SLT (Watanabe/Shirodkar) | Fisher 退化方向，编码神经网络奇异性 |
## 参考
- [[statistically-meaningful-geometry|SMG]]
- [[statistically-verifiable-directions|SVDχ]]
- [[dead-direction|Dead Direction]]

49
concepts/three-imperatives-vision.md Normal file
View File

@@ -0,0 +1,49 @@
---
title: "通用视觉预训练三条件 (Three Imperatives for Generalist Vision Pre-training)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [computer-vision, pre-training, generalist-model]
sources:
- arxiv:2607.09024
---
# 通用视觉预训练三条件
## 定义
GenCeption 提出的通用视觉基础模型预训练必须满足的三个必要条件。这些条件是判断一个预训练范式能否成为"视觉的 next-token prediction 等价物"的标准。
## 三条件
### 1. 时空演化 (Spatio-Temporal Evolution)
> "世界是 4D 连续体。预训练目标必须迫使模型内化运动世界的 4D 时间因果和物理学。"
- 需要：理解物体恒存性、3D 几何、物理交互、时间因果
- 视频生成天然满足：生成下一帧 = 隐式理解运动规律
### 2. 视觉-语言对齐 (Vision-Language Alignment)
> "为继承语言模型的指令遵循能力和常识知识，视觉特征应在预训练和后训练阶段都与语言语义原生对齐。"
- 需要：开放词汇理解、文本引导的任务切换
- 文本到视频生成天然满足：模型以文本描述为条件
### 3. 可规模化 (Scalability)
> "范式应能在数据和计算上规模化，最终促成视觉智能的涌现。"
- 需要：低成本标注（或自监督）、高商业价值驱动规模化
- 视频生成天然满足：互联网视频近乎无限，文本描述成本低
## 评估现有范式
| 条件 | MAE | DINO/CLIP | V-JEPA | 视频生成 |
|------|-----|-----------|--------|----------|
| 时空演化 | ❌ | ❌ | 部分 | ✅ |
| VL 对齐 | ❌ | ✅ | ❌ | ✅ |
| 可规模化 | 部分 | ✅ | 部分 | ✅ |
只有**视频生成预训练**同时满足全部三个条件。
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[video-generation-pretraining|视频生成预训练]]

47
concepts/tool-authorization-boundaries.md Normal file
View File

@@ -0,0 +1,47 @@
---
title: "工具授权边界 (Tool Authorization Boundaries)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, tool-use, safety, prompt-engineering]
sources:
- https://developers.openai.com/api/docs/guides/prompt-guidance-gpt-5p6
- openai-gpt5p6-prompt-guide-2026
---
# 工具授权边界
## 定义
GPT-5.6 Prompt 指南中关于 Agent 工具权限分级的原则：**能够判断下一步该做什么，不代表已经获得执行这一步的权限。** 在 Prompt 中显式区分为不同用户意图对应的授权级别。
## 授权分级
| 用户请求类型 | 授权范围 |
|-------------|---------|
| 分析、审查、制定计划 | 检查材料 + 报告结论 |
| 修改、构建、修复 | 本地变更 + 非破坏性验证 |
| 外部写入、删除、购买 | **再次确认** |
| 明显扩大任务范围 | **再次确认** |
## 设计原则
- 工具应**按任务需要提供**，不是越多越好
- 工具描述需说明：用途、适用时机、关键返回字段、失败处理方式
- 工具太多或说明不清 → 增加模型选择工具的负担
## 检索的边界
- 普通问答：一次较广搜索 → 核心证据足够直接回答
- 补充检索：仅在缺少关键事实/日期/来源/必要引用时
- 没有搜到 ≠ 信息不存在
- 来源冲突 → 如实说明
## 与 [[verification-governance|验证与治理]] 的关系
工具授权边界是 V 组件中治理（Governance）维度在 Prompt 层面的实现——权限门控从架构层下沉到指令层。
## 参考
- [[openai-gpt5p6-prompt-guide-2026|GPT-5.6 Prompt 指南]]
- [[verification-governance|验证与治理]]
- [[outcome-first-prompting|结果优先提示]]

55
concepts/two-fold-inference-paradigm.md Normal file
View File

@@ -0,0 +1,55 @@
---
title: "Two-Fold Inference Paradigm (双折推断范式)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["smg", "statistical-inference", "differential-geometry", "fiber-bundle"]
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---
# Two-Fold Inference Paradigm (双折推断范式)
SMG 的核心架构创新——将过参数化系统中的推断**正交分裂**为两个互不干扰的操作域。
## 第一折：水平统计推断（Horizontal Statistical Inference）
- **空间**：基流形 B，即 [[statistically-verifiable-directions|SVDχ]] 方向
- **工具**：经典统计——MLE、贝叶斯后验更新、最小对比度方法
- **Fisher 度量**：严格正定，非退化
- **语义**：由数据驱动、可经验证伪的假设检验
## 第二折：垂直几何推断（Vertical Geometric Inference）
- **空间**：纤维 Fb，即 [[structural-internal-directions|SID]] 方向
- **工具**：纯微分拓扑——[[ehresmann-connection-filtering|Ehresmann 联络]]、平行移动
- **一阶方差**：严格为零（统计工具完全盲化）
- **语义**：内部自由度路由、损失景观平滑、优化热浴
## 正交合成（Orthogonal Synthesis）
```
数据输入 (Environment E)
│
┌────────┴────────┐
▼ ▼
SVDχ 水平分量 SID 垂直分量
│ │
经典统计学习 几何结构重配置
(MLE, Bayes, (连接过滤,
Natural GD) Hessian 展平)
│ │
└────────┬────────┘
▼
gf(Hf, Vf) = 0 → 永不互扰
```
## 关键保证
Cheng-Tong 正交度量分解证明：水平统计引擎和垂直拓扑引擎**永不互相污染**——这是过参数化系统的安全运转前提。
## 参考
- [[statistically-meaningful-geometry|SMG]]
- [[statistically-verifiable-directions|SVDχ]]
- [[structural-internal-directions|SID]]
- [[ehresmann-connection-filtering|Ehresmann Connection Filtering]]

51
concepts/unified-task-representation.md Normal file
View File

@@ -0,0 +1,51 @@
---
title: "统一任务表示 (Unified Task Representation)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [computer-vision, multi-task, architecture]
sources:
- arxiv:2607.09024
---
# 统一任务表示
## 定义
GenCeption 的**统一任务表示**策略将所有视觉感知任务的输出映射到共享的表示空间，使得单一架构和权重可以处理多种异构任务——仅通过文本 prompt 切换任务模态，无需架构修改。
## 两大策略
### 稠密任务：统一到 3 通道 RGB 空间 [0,1]
| 任务 | 映射方式 |
|------|----------|
| 深度估计 | 单通道复制到 RGB 三通道 |
| 表面法向 | 三个方向分量 = RGB 三通道 |
| 前景分割 | 单通道复制 |
| DensePose | 语义 UV 坐标 → RGB |
| 相机姿态 | [[rothko-raymap|Rothko Raymap]] — 6→3 通道 |
### 稀疏任务：可学习 Token + MLP
2D/3D 关键点等结构化输出不适用于 RGB 映射。解决方案：
- 附加 T 个可学习 token 到视频 latent（每个视频帧一个）
- 经过 DiT 处理后，MLP 将每个 token 解码为 K 维目标
- 使用 3D RoPE + 位置插值维持与预训练的时间边界兼容
## 设计哲学
> 类似于将非文本数据格式化为文本字符串以供 LLM 处理，我们主张将视觉任务直接投影到连续像素空间——这是预训练视觉先验的最佳利用域。
## 关键含义
**任务规范从架构修改转移到数据格式设计**：
- 旧范式：新任务 → 新 head / 新 decoder / 新 loss
- GenCeption：新任务 → 设计数据表示格式（如何将输出映射到 RGB 或 token），架构和损失函数保持不变
这使得模型可以**随视觉任务谱系的不断扩展而规模化**。
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[rothko-raymap|Rothko Raymap]]
- [[data-driven-task-specification|数据驱动任务规约]]

44
concepts/verification-before-delivery.md Normal file
View File

@@ -0,0 +1,44 @@
---
title: "交付前验证 (Verification Before Delivery)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, verification, quality, prompt-engineering]
sources:
- https://developers.openai.com/api/docs/guides/prompt-guidance-gpt-5p6
- openai-gpt5p6-prompt-guide-2026
---
# 交付前验证
## 定义
GPT-5.6 Prompt 指南反复强调的核心原则：**模型生成了结果，不代表任务已经完成。** Agent 必须在交付前验证其产出。
## 验证清单
### 代码任务
- 运行测试（unit / integration）
- 类型检查
- Lint
- 构建检查
- 最小冒烟测试
### 前端 / 视觉任务
- 查看实际渲染结果
- 检查布局、裁切、间距
- 确认内容完整性
### 无法验证时
- **说明原因**（为什么当前环境无法验证）
- **给出下一步检查方法**（用户应该怎么做）
- 不要把结果表述为"已经完成"
## 与脚手架验证的关系
交付前验证是 [[verification-governance|V 组件]] 在 Prompt 层面的轻量实现——将验证责任编入 Agent 的行为指令，而非仅在运行时层面执行。
## 参考
- [[openai-gpt5p6-prompt-guide-2026|GPT-5.6 Prompt 指南]]
- [[verification-governance|验证与治理]]
- [[outcome-first-prompting|结果优先提示]]

49
concepts/verification-governance.md Normal file
View File

@@ -0,0 +1,49 @@
---
title: "验证与治理 (Verification and Governance, V)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [agent, harness, safety, verification]
sources:
- arxiv:2606.20683
---
# 验证与治理 (V)
## 定义
脚手架六组件之一。**验证与治理层**在运行时检查、约束和修复执行。包含双重角色：
- **验证（Verification）**：测试、断言、verifier models、judge signals——估计执行是否按正确方向推进
- **治理（Governance）**：审批门控、沙盒化、预算控制、rollback、retry、升级、安全终止——决定脚手架被允许或要求对验证证据做什么
## 设计空间
- 验证信号强度：强 oracle（测试/linter/assertion）vs. 弱 oracle（human judge/LLM-as-judge）
- 治理模式：pre-action gate vs. post-action check vs. continuous monitoring
- 恢复机制：rollback、retry、escalation、safe termination
- 权限门控：human approval、budget control、side-effect containment
## 核心权衡
**自主性 vs. 鲁棒性**：
- 更宽松的约束允许更广泛的探索，但增加有害行动和不可恢复漂移的风险
- 更严格的治理提高安全性和可恢复性，但可能减慢执行或阻断有用行为
## 环境依赖性
| 环境 | 验证强度 | 治理重点 |
|------|---------|----------|
| 编码（SWE-bench） | 强（tests、linters、assertions） | sandbox + rollback |
| Web/Desktop（WebArena） | 弱（oracle 常不可用） | gate + escalation |
| 开放环境 | 极弱 | continuous monitoring + safe termination |
## 开放问题
设计**选择性和成本感知**的验证与治理机制——区分可恢复的局部错误与更深层的任务级崩溃，而不过度触发中断或回滚。
## 参考
- [[agent-harness-survey-2026|Agent Harness Survey (2026)]]
- [[harness-six-components|脚手架六组件模型]]
- [[action-interface|行动接口]]
- [[control-loop|控制循环]]

44
concepts/video-generation-pretraining.md Normal file
View File

@@ -0,0 +1,44 @@
---
title: "视频生成预训练 (Video Generation Pre-training)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [computer-vision, pre-training, video-generation, diffusion]
sources:
- arxiv:2607.09024
---
# 视频生成预训练
## 定义
**视频生成预训练**是 GenCeption 提出的核心范式：将大规模文本到视频生成作为计算机视觉的通用预训练策略。这是 NLP 中 next-token prediction 的视觉等价物。
## 核心主张
视频生成预训练**独特地满足**通用视觉预训练的 [[three-imperatives-vision|三大必要条件]]：
1. **时空演化**：生成高保真视频序列迫使模型内化 3D 几何、物体恒存性和物理交互
2. **视觉-语言对齐**：模型原生以文本为条件，提供内在的多模态对齐
3. **规模化**：由于标注成本低和商业价值高，现代视频生成模型已在大规模数据和计算上训练
## 与现有预训练范式的对比
| 范式 | 时空先验 | VL 对齐 | 规模化 | 代表方法 |
|------|---------|---------|--------|----------|
| MAE / VideoMAE | 弱 | 无 | 受限 | Masked Autoencoder |
| DINO / DINOv2 | 无 | 无 | 中等 | Self-Distillation |
| CLIP / SigLip | 无 | 强 | 强 | Contrastive Learning |
| V-JEPA | 弱 | 无 | 受限 | Feature Prediction |
| **视频生成预训练** | **强** | **强** | **强** | GenCeption |
## NLP 类比
> 就像 next-token prediction 内化了语法、语义和世界知识，视频帧生成内化了 3D 几何、物理学和视觉语义。
GenCeption 将视频扩散模型视为"基础模型"，在其上进行多任务后训练——完全类比 LLM 的 pre-training → post-training 流程。
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[three-imperatives-vision|通用视觉预训练三条件]]
- [[feed-forward-diffusion|前馈扩散]]

57
concepts/within-concept-between-concept-axes.md Normal file
View File

@@ -0,0 +1,57 @@
---
title: "Within-Concept / Between-Concept Axes (概念内/间轴)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["representation-geometry", "kernel-methods", "cka", "conceptual-representation"]
sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
---
# Within-Concept / Between-Concept Axes (概念内/间轴)
Hu et al. (ICML 2026) 的概念表示的双轴表征框架。
## 双轴定义
### 概念内关系（Within-Concept）
同一概念跨上下文的点云形状：
```
K_w^{(m)}[i, j] = k(r^{(m)}(w, c_i), r^{(m)}(w, c_j)), c_i, c_j ∈ C
```
测量**上下文可变性**——概念在多大程度上随语境变化。
### 概念间关系（Between-Concept）
同一上下文内不同概念的相互位置：
```
K_τ^{(m)}[i, j] = k(r^{(m)}(w_i, τ), r^{(m)}(w_j, τ)), w_i, w_j ∈ W
```
测量**概念间关系结构**——概念在共享上下文中的相对几何。
## 互补性
| 轴 | 问题 | 不变的是 | 变化的是 |
|-----|------|---------|---------|
| Within-Concept | 一个概念有多灵活？ | 概念 w | 上下文 c |
| Between-Concept | 概念间关系多稳定？ | 上下文 τ | 概念 w |
## 跨模型对齐
两种关系都在模型间显著对齐（CKA + permutation calibration），且对齐程度与**模型能力**（MMLU 分数）正相关。Pythia 等较老模型的对齐较弱。
## 上下文特异性
- **自然上下文**：within-concept 对齐最强
- **模板上下文**：between-concept 对齐最强
- → 这表明跨模型对齐不是语料重叠的表面伪影——打乱上下文会破坏对齐
## 参考
- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
- [[concept-point-cloud-manifold|Point-Cloud Manifold]]
- [[contextual-transformation-field|Contextual Transformation Field]]