diff --git a/articles/cantor-stole-infinity.md b/articles/cantor-stole-infinity.md new file mode 100644 index 0000000..ddafd39 --- /dev/null +++ b/articles/cantor-stole-infinity.md @@ -0,0 +1,76 @@ +--- +title: "窃取无穷的数学家 — 康托尔与狄德金的隐秘合作" +created: 2026-06-07 +updated: 2026-06-07 +type: article +source: "Quanta Magazine / 环球科学 2026年6月刊" +tags: [数学史, 集合论, 无穷, 学术伦理] +--- + +# 窃取无穷的数学家 + +> 原文发表于 Quanta Magazine，2026年由《环球科学》翻译。本文揭示了一段尘封150年的数学史真相。 + +## 一句话总结 + +新发现的信件证明：康托尔1874年那篇奠定集合论的里程碑论文中，隐藏了狄德金的关键贡献——代数数可数性证明。康托尔抹去了合作痕迹，独自署名发表。 + +## 核心故事 + +### 背景：无穷的禁忌 + +19世纪前，数学家视无穷为"毒瘤"。高斯称之为"修辞手法"（façon de parler）。无穷不能在数学中真正存在。 + +### 1872年的突破 + +康托尔和狄德金各自独立定义了实数——证明了数轴是完备的连续统，无穷"隐匿在每一处缝隙中"。 + +### 盖尔绍的友谊 + +1872年夏，两人在瑞士盖尔绍湖畔相遇，一见如故。康托尔（27岁）豪爽急躁，狄德金（40岁）内敛审慎——这对奇怪的组合成为挚友。 + +### 1873年的合作 + +康托尔在探索无穷问题时频繁请教狄德金。狄德金回信提供了代数数可数性的证明及其简化版。康托尔在此基础上补充了自己的实数不可数证明。 + +### 1874年的"特洛伊木马" + +面对反无穷派数学权威 [[leopold-kronecker|克罗内克尔]] 的威胁，康托尔精心设计： +- 选择误导性标题，只提代数数 +- 把狄德金证明放在前面，作为"诱饵" +- 将革命性的实数不可数结论藏在后面 +- **抹去狄德金贡献的一切痕迹**，独自署名 + +### 真相的浮现 + +- **1930年代**：[[emmy-noether|埃米·诺特]] 整理狄德金遗物时发现关键信件，但选择"让信件说明一切" +- **1993年**：数学史家费雷罗斯首次公开指控康托尔 +- **2025年**：科学记者戈斯在哈雷大学档案中发现失踪150年的狄德金回信——直接证据终于浮出水面 + +## 数学意义 + +康托尔和狄德金的共同工作奠定了 [[infinity-hierarchy|无穷层级体系]] 的基础： + +1. [[algebraic-numbers-countability|代数数可数]] — 狄德金证明 +2. 实数不可数 — 康托尔证明 +3. 结论：存在不同大小的无穷 + +## 历史反思 + +> "每一门科学分支都需要一位英雄……但这种故事总是谎言。" — 何塞·费雷罗斯 + +- 康托尔的声誉并未因此受损——他仍是实数不可数性这一更深层发现的首位证明者 +- 狄德金长期处于历史阴影中，至今无英文传记 +- 承认狄德金的贡献，让数学史更加完整和真实 + +## 相关概念 + +- [[georg-cantor|格奥尔格·康托尔]] +- [[richard-dedekind|里夏德·狄德金]] +- [[infinity-hierarchy|无穷层级体系]] +- [[countable-uncountable-infinity|可数与不可数无穷]] +- [[algebraic-numbers-countability|代数数的可数性]] +- [[emmy-noether|埃米·诺特]] +- [[leopold-kronecker|利奥波德·克罗内克尔]] +- [[mathematical-priority-disputes|数学优先权争议]] +- [[set-theory-history|集合论史]] diff --git a/articles/lecun-llm-boundary-future.md b/articles/lecun-llm-boundary-future.md new file mode 100644 index 0000000..71c64a4 --- /dev/null +++ b/articles/lecun-llm-boundary-future.md @@ -0,0 +1,76 @@ +--- +title: "LeCun 论 LLM 的边界与未来架构" +created: 2026-06-08 +updated: 2026-06-08 +type: article +tags: [LLM, JEPA, world-model, VLA, objective-driven-AI, LeCun, representation-collapse, SIGReg, Tapestry] +sources: [https://mp.weixin.qq.com/s/Zau10ioTWzhj0KOImpasNg] +--- + +# LeCun 论 LLM 的边界与未来架构 + +> 原文: Datawhale 干货 | 作者: 徐虎、李盛康、蒋银河、黎又榛 +> 来源: [原始存档](raw/articles/lecun-llm-boundary-future-2026.md) + +## 一句话 + +**智能不是关于预测下一个 token，而是关于预测行动的后果。** 这篇文章系统梳理了 LeCun 对 LLM 未来方向的判断：LLM 不会消失但需要"降职"，[[jepa|JEPA]] 世界模型 + [[objective-driven-ai|目标驱动AI]] 才是通向通用智能的正确架构。 + +## 核心论点 + +1. **LLM 的两大结构性缺陷**：缺少[[action-consequence-prediction|预测行动后果的能力]]、缺少[[multi-step-planning|基于搜索的多步规划]]——这些不是数据量或模型规模能修复的。 + +2. **[[vla-vision-language-action|VLA]] 路线已接近失败**：可靠性不足、数据成本过高、泛化脆弱、无规划能力。但产业界因其工程成熟度仍在押注。 + +3. **[[jepa|JEPA]] 是核心解决方案**：在抽象表征空间中做预测（而非像素或 token 空间），[[leworldmodel|LeWorldModel]] 用 SIGReg 防[[representation-collapse|表征坍缩]]，将防坍塌从工程启发式转化为数学上的分布匹配问题。 + +4. **[[objective-driven-ai|目标驱动AI]] 提供内生安全**：行为通过优化代价函数驱动，安全约束"从构造上无法违反"——区别于 RLHF 等事后软约束。 + +5. **[[tapestry-federated|Tapestry]] 回应[[sovereign-ai|主权AI]]问题**：联邦训练机制，共享参数向量而非数据本身。 + +6. **未来三层架构**：LLM（语言皮层）→ [[world-model-lecun|世界模型]]（思考引擎）→ 目标驱动决策层（安全保障）。 + +## 关键概念网络 + +``` +LLM 局限性 +├── 数据瓶颈 → [[data-wall]], [[model-collapse|模型崩塌]] +├── 结构性缺陷 +│ ├── [[action-consequence-prediction|预测行动后果]] +│ └── [[multi-step-planning|多步规划]] +└── 安全性 → [[objective-driven-ai|目标驱动AI]] + +VLA 路线 +├── 可靠性 → [[vlatest]], [[libero-plus]] +├── 泛化 → [[distribution-shift|分布外泛化]] +└── 替代方案 → [[jepa|JEPA]] + [[world-model-lecun|世界模型]] + +JEPA 技术栈 +├── [[abstract-representation-space|抽象表征空间]] +├── [[representation-collapse|表征坍缩]] 防范 +│ ├── [[vicreg|VICReg]] (方差-协方差) +│ ├── [[sigreg|SIGReg]] (各向同性高斯) +│ └── BYOL/DINO (蒸馏方法) +├── [[leworldmodel|LeWorldModel]] +└── 应用 → [[world-model-industrial|工业过程控制]] + +开源生态 +├── [[tapestry-federated|Tapestry 联邦训练]] +└── [[sovereign-ai|主权AI]] +``` + +## 核心洞察 + +- **LLM 的成功恰恰是它的局限所在**：离散 token + 可计算预测目标让 LLM 强大，但也锁死了它的能力边界——真实世界不是有限离散符号。 +- **水瓶类比的深层含义**：像素空间的不可约不确定性意味着，预测必须在语义空间中发生——这不是工程选择，是信息论上的必然。 +- **表征坍缩是自监督学习的"元问题"**：它暴露了模型天然"偷懒"倾向与信息承载需求之间的根本张力。 +- **目标驱动AI vs LLM 的根本差异**：前者是架构上的"不可能做坏事"（硬约束），后者是概率上的"不太可能做坏事"（软约束）。 + +## 阅读导航 + +- 了解 JEPA 技术细节 → [[jepa]] +- 了解世界模型理论 → [[world-model-lecun]] +- 了解 VLA 为何失败 → [[vla-vision-language-action]] +- 了解表征坍缩与解决方案 → [[representation-collapse]] → [[sigreg]] +- 了解安全的替代路径 → [[objective-driven-ai]] +- 了解开源生态布局 → [[tapestry-federated]], [[sovereign-ai]] diff --git a/articles/pydantic-three-piece-suite.md b/articles/pydantic-three-piece-suite.md new file mode 100644 index 0000000..c063cb0 --- /dev/null +++ b/articles/pydantic-three-piece-suite.md @@ -0,0 +1,83 @@ +--- +title: "Pydantic 三件套：从校验库到 AI 基础设施" +created: 2026-06-10 +updated: 2026-06-10 +type: article +tags: [pydantic, agent, observability, open-telemetry, validation] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# Pydantic 三件套：从校验库到 AI 基础设施 + +> 微信公众号 | 2026年 +> Pydantic 不只是 BaseModel——Rust 验证引擎 + OTel 可观测平台 + 类型安全 Agent 框架 + +## TL;DR + +- [[pydantic]] 生态三层：[[pydantic-core|Rust 引擎]] + [[logfire|Logfire 可观测]] + [[pydantic-ai|Pydantic AI Agent 框架]] +- **strict + forbid + frozen 三配置零成本立即生效** +- Logfire 四行代码接入，debug 从半天降到分钟级 +- Pydantic AI 让类型系统约束 Agent 行为，而非仅事后校验 + +## 核心问题 + +LLM 时代的校验需求已经变了。人填的表单错误模式稳定，LLM 输出的 JSON 错误模式**漂移**——同样的 prompt 跑 100 次，第 1 次可能字段名少了条下划线，第 47 次可能多了个字段，第 89 次可能把 str 塞了 None。 + +传统的 BaseModel 只能告诉你「第 47 次错了」，但你需要的是 [[drift-detection|漂移检测]]——哪个字段一直在漂？哪个模型输出最不稳定？token 成本是不是偷偷在涨？ + +## 三件套全景 + +| 层 | 解决的问题 | 不用的话 | +|---|-----------|---------| +| [[pydantic-core|pydantic-core (Rust)]] | 校验速度 / 脱离 GIL | 多线程校验串行 | +| [[logfire|Logfire (OTel)]] | 可观测 / 成本监控 / 漂移检测 | 只知"第 47 次错" | +| [[pydantic-ai|Pydantic AI]] | Agent 行为约束 / 类型安全 tool 调用 | 手写 JSON Schema + 事后校验 | + +三层独立，共享同一套类型定义。可任意叠加。 + +## 第一件：pydantic-core + +Rust 写的物理引擎，通过 PyO3 绑定。`model_validate(data)` 的实际路径：Python → CoreSchema JSON → Rust 层逐字段校验 → 返回。**步骤 2-4 全部在 Rust 侧完成，不走 GIL**。配合 `asyncio.gather()` 并发调 20 个 LLM API 时，每个回复的 JSON 解析可在不同线程并行跑 Rust 校验。 + +**[[typeadapter|TypeAdapter]]**：同一份数据，不同严格度——API 入口用 strict，Agent 内部传递用宽松，不用写两套模型。 + +**三个零成本配置**： +```python +model_config = { + "strict": True, # 空字符串不会变 0，类型不匹配直接炸 + "extra": "forbid", # LLM 多塞字段立刻报错 + "frozen": True, # 模块间传递不可篡改 +} +``` + +## 第二件：Logfire + +基于 [[open-telemetry|OpenTelemetry]] 标准的可观测平台。核心价值： +- **4 行代码**拿到完整 Agent span 树（根 → model request → tool 调用 → follow-up） +- **OTel 标准**：数据不锁定厂商，可自托管或导出到 Grafana/Jaeger +- **SQL 查询 trace**：不是点按钮过滤，是写 SQL 查 [[drift-detection|漂移趋势]] + +真实案例：Sophos 安全团队发现 Agent 调用某个 tool 的频率从每 50 次推理 1 次涨到每 8 次 1 次——传统日志只看调用成功与否，Logfire 的 SQL 查询揭示了频率异常。 + +## 第三件：Pydantic AI + +把 Pydantic 的类型系统直接嵌入 Agent 运行时——类型从"报错器"变成"编译器"，在运行时之前就约束了 Agent 的行为空间。 + +- `@agent.tool` 自动从函数签名推断 tool schema（不需手写 JSON Schema） +- `result.data` 类型安全，IDE 补全可用 +- 多步 Agent 支持（多次推理 + 多次 tool 调用） +- `instrument=True` 自动接 Logfire trace + +与 Instructor 的定位差异：单次 LLM 结构化输出 → Instructor；多步推理 + 多 tool 调用的 Agent → Pydantic AI。 + +## 渐进路线图 + +1. **今天 (5min)**：所有 BaseModel 加 `strict=True, extra='forbid', validate_default=True` +2. **这周**：有 Agent 就加 Logfire，4 行代码 +3. **下次新 Agent 项目**：tool > 3 就试 Pydantic AI + +## 参考 + +- [[agent-observability|Agent 可观测性]] +- [[type-safety-in-agents|Agent 类型安全]] +- [原始存档](raw/articles/pydantic-three-piece-suite-2026.md) diff --git a/articles/qifu-llm-finance-practice.md b/articles/qifu-llm-finance-practice.md new file mode 100644 index 0000000..856815b --- /dev/null +++ b/articles/qifu-llm-finance-practice.md @@ -0,0 +1,83 @@ +--- +title: "金融行业大模型落地实践：从知识工程到后训练部署" +created: 2026-06-14 +updated: 2026-06-14 +type: article +tags: [finance, llm-deployment, knowledge-engineering, post-training, agent] +sources: [raw/articles/qifu-llm-finance-practice-2026.md] +confidence: high +--- + +# 金融行业大模型落地实践 + +> 奇富科技 DeepBank 王元在 2026 DA 上海站的分享 — DataFun 出品 + +**核心主张:** 在专业领域，"通用大模型 + 高质量知识工程"的路径比盲目预训练垂类大模型更具商业价值。 + +## 冰山难题：三重落地阻碍 + +金融行业面临 LLM 落地的独特困境： + +1. **[[zero-data-cold-start|零数据困境]]** — 输入 X 和标签 Y 都不存在，连监督微调都无法启动 +2. **评估盲区** — 生成式输出的营销策略推荐缺乏标准答案 +3. **算力与合规壁垒** — 必须本地化部署，受限硬件预算和延时要求 + +## 知识工程 + +### REER 逆向知识提炼 + +如何从仅有的 QA 对中提取可复用的知识？借鉴字节跳动的 REER 算法，[[reer-reverse-knowledge-extraction|四步流程]]： +1. 大模型逆向分析 X→Y 关系，生成推理轨迹 +2. 剥离"内心独白"，提取通用话术逻辑 → SUM +3. 按业务分类聚合 → 行动手册 +4. 迭代优化：Perplexity 下降 + 端到端坐席回复相似度验证 + +### 多维合成数据 + +[[multi-dimensional-synthetic-data|三维度构建训练数据多样性]]： +- 企业客户多样性（行业资产、贸易特征、资金状况） +- 录音场景多样性（噪音层级、纯闲聊、对抗负样本） +- 录制人多样性（谨慎新手 vs 老练资深经理） + +## 后训练策略 + +### 成本博弈 + +| 方案 | 成本 | 适用场景 | +|------|------|---------| +| SFT 微调 | 低 | 结构化任务、指令遵循 | +| [[post-hoc-reasoning-rl|后置推理 RL]] | 中 | 追求可解释性，无需拒绝采样 | +| [[pre-hoc-reasoning-rl|前置推理 RL]] | 高 | 正统 RL，需 Dense 模型 | + +### [[moe-lora-toolchain-conflict|MOE + LoRA 工具链冲突]] + +VeRL 框架不支持 MOE 模型的 RL+LoRA 后训练，部分场景被迫退回全参微调。 + +### [[automatic-prompt-optimization|APO 自动提示工程]] + +- System prompt 不宜过长，User prompt 约束力更强 +- Batch 处理更新，APO 本质是蒙特卡洛过程 +- Trace 可优化函数、提示词、工具描述 +- 验证集维护帕累托前沿 + +## 推理与评估 + +### [[emotional-value-evaluation|情绪价值评估]] + +在金融科技项目中，"情绪价值"往往先于业务效果被感知。引入心理学方法构建评估器：先提供"看着像"的情绪价值，再追求成功率。 + +### 推理加速 + +MOE 架构在吞吐量上有明显优势。任务卡数多于模型数时，多个 Int8 量化 Merge 模型收益可能高于 1 个基模挂多个 LoRA。 + +## 相关概念 + +- [[reer-reverse-knowledge-extraction|REER 逆向知识提炼]] — 从 QA 对中反向提取业务手册 +- [[multi-dimensional-synthetic-data|多维合成数据]] — 零数据场景的训练数据构建 +- [[post-hoc-reasoning-rl|后置推理 RL]] — 性价比更高的推理方案 +- [[pre-hoc-reasoning-rl|前置推理 RL]] — 正统但昂贵的 RL 路径 +- [[automatic-prompt-optimization|APO 自动提示工程]] — 高质量 Base Prompt 基线生成 +- [[emotional-value-evaluation|情绪价值评估]] — LLM 在业务中的主观质量度量 +- [[moe-lora-toolchain-conflict|MOE + LoRA 工具链冲突]] — 后训练的现实阻碍 +- [[zero-data-cold-start|零数据冷启动]] — X 和 Y 都缺失的极端场景 +- [[vertical-llm-knowledge-engineering|垂域 LLM 知识工程]] — 通用模型 + 领域知识的落地范式 diff --git a/concepts/4d-gaussian-splatting.md b/concepts/4d-gaussian-splatting.md new file mode 100644 index 0000000..2ca5610 --- /dev/null +++ b/concepts/4d-gaussian-splatting.md @@ -0,0 +1,46 @@ +--- +title: "4D 高斯泼溅 (4D Gaussian Splatting)" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, 3d-reconstruction, gaussian-splatting, dynamic-scenes] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# 4D 高斯泼溅 (4D Gaussian Splatting / 4DGS) + +3D Gaussian Splatting (3DGS) 的时间扩展——用一组随时间变化的高斯基元表示动态场景，支持任意时间步和任意视角的可微分渲染。 + +## 从 3DGS 到 4DGS + +- **3DGS**：静态场景的一组 3D 高斯基元，每个基元具有位置、协方差、颜色和不透明度 +- **4DGS**：基元增加时间维度——位置/协方差/颜色可随时间变化，形成"动态高斯泼溅" +- **核心思想**：不显式建模运动场（如 NeRF + 变形场），而是直接优化基元的时间演变 + +## 在 Flex4DHuman 中的角色 + +Flex4DHuman 生成的同步多视角视频作为 4DGS 的输入数据，取代了传统"多相机采集设备"的需求： + +1. **生成多视角视频**：模型生成所有目标视角的同步帧 +2. **拟合 4DGS**：使用 FreeTimeGS 从多视角帧优化动态高斯泼溅 +3. **自由视点渲染**：拟合后的 4DGS 可在任意时间/视角渲染新图像 + +## 使用的工具 + +- **FreeTimeGS**（Wang et al., CVPR 2025）：Flex4DHuman 选用的具体 4DGS 重建方法 +- **SparkJS**：基于 Three.js 的 3DGS 浏览器渲染器，支持实时交互 +- **Marble**（World Labs）：多模态世界模型，可将重建的 4DGS 角色组合到生成场景中 + +## 与其他动态表示对比 + +| 方法 | 代表工作 | 优势 | 劣势 | +|------|---------|------|------| +| NeRF + 变形场 | D-NeRF, HumanNeRF | 连续性 | 训练慢，渲染慢 | +| 3DGS + 变形 | 3DGS-Avatar | 实时渲染 | 需显式变形模型 | +| **4DGS** | 4D-GS, FreeTimeGS | 实时渲染，无变形场 | 高斯基元数较多 | + +## 参考 + +- [[monocular-video-to-4d|单目视频到 4D]] — Flex4DHuman 的完整 4D 管线 +- [[flex4dhuman|Flex4DHuman]] — 多视角视频的生成源 +- [[freetimegs|FreeTimeGS]] — 使用的具体方法 diff --git a/concepts/abductive-reasoning-recommendation.md b/concepts/abductive-reasoning-recommendation.md new file mode 100644 index 0000000..a1c4871 --- /dev/null +++ b/concepts/abductive-reasoning-recommendation.md @@ -0,0 +1,43 @@ +--- +title: "溯因推理 (推荐) — Abductive Reasoning in Recommendation" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [reasoning, recommendation, logic, abduction] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# 溯因推理 (推荐) — Abductive Reasoning + +> 推荐推理的本质是溯因 (Abduction) 而非演绎 (Deduction)——从观察到的行为反推不可观测的用户意图。 + +## 溯因 vs 演绎 vs 归纳 + +| 推理类型 | 模式 | 经典任务 | +|---------|------|---------| +| 演绎 (Deduction) | 规则 + 前提 → 必然结论 | 数学证明、代码生成 | +| 归纳 (Induction) | 多个实例 → 一般规则 | 模式识别、分类 | +| 溯因 (Abduction) | 观察结果 → 最可能的原因 | **推荐推理**、医疗诊断 | + +## 为什么推荐是溯因推理 + +1. **用户意图不可观测**：真实兴趣永远隐藏在行为背后 +2. **行为是结果，不是原因**：点击/观看是兴趣的外显，不是兴趣本身 +3. **多因一果**：同一行为可能对应多种兴趣 +4. **时序演化**：兴趣随时间漂移，历史中混杂了新旧偏好 + +## 推荐 CoT 的溯因结构 + +一个好的 [[recommendation-cot|推荐 CoT]] 应该： +1. 从历史 [[itemic-tokens|itemic token]] 序列中选择相关行为 +2. 假设潜在兴趣点（溯因跳跃） +3. 将兴趣压缩为可解释的偏好 +4. 建模兴趣间的时间演化 +5. 用推断的偏好状态来论证推荐 + +## 参考 + +- [[recommendation-reasoning|推荐推理]] +- [[recommendation-cot|推荐 CoT]] +- [[perception-cognition-recommendation|感知-认知推荐层次]] +- [[onereason|OneReason]] diff --git a/concepts/absolute-gating.md b/concepts/absolute-gating.md new file mode 100644 index 0000000..e5da226 --- /dev/null +++ b/concepts/absolute-gating.md @@ -0,0 +1,54 @@ +--- +title: "绝对门控与相对门控 (Absolute vs Relative Gating)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [architecture, sparse-autoencoder, gating-mechanism] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 绝对门控与相对门控 (Absolute vs Relative Gating) + +[[geometric-sae-concepts|Zhang et al. (2026)]] 提出的 [[sparse-autoencoder|SAE]] 架构分类——门控机制的本质差异决定了 SAE 的几何性质和可分析性。 + +## 绝对门控 (Absolute Gating) + +每个神经元的激活**仅由自身预激活值决定**： + +- **ReLU SAE**：`a_i = max(0, z_i)`，激活区域 = 半空间 `H_i^+` +- **Gated SAE**：引入额外门控网络 +- **JumpReLU SAE**：`a_i = z_i · 1[z_i > τ_i]` + +**几何性质**： +- 神经元激活区域 `N_i = H_i^+`（精确等于半空间） +- 多神经元单元的激活区域 = 半空间的交集（凸多面体） +- 理论分析直接、条件简单 + +## 相对门控 (Relative Gating) + +神经元的激活**依赖于与其他神经元的比较**： + +- **Top-K SAE**：仅保留 k 个最大 z_i +- **Matching Pursuit SAE**：迭代选择贡献最大的 +- **SPaDE**：结构化选择 + +**几何性质**： +- `N_i ⊆ H_i^+`（仅半空间的子集） +- N_i 是超平面排列区域的并集（复杂非凸形状） +- 即使 `z_i > τ_i`，若未进入 Top-K 也不激活 + +## 几何差异的后果 + +| 性质 | 绝对门控 | 相对门控 | +|------|---------|---------| +| 激活区域 | 半空间（凸） | 多胞体并集（非凸） | +| 概念分离条件 | Conv(C) ∩ Conv(N) = ∅ | 更复杂 | +| 稀疏性 | L1 正则化（软约束） | k 硬约束 | +| 层级概念 | 天然支持（子概念激活不排斥父概念） | 竞争排斥 | + +## 参考 + +- [[sparse-autoencoder|SAE]] +- [[hyperplane-arrangements|超平面排列]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/abstract-representation-space.md b/concepts/abstract-representation-space.md new file mode 100644 index 0000000..2947cdc --- /dev/null +++ b/concepts/abstract-representation-space.md @@ -0,0 +1,48 @@ +--- +title: "抽象表征空间 (Abstract Representation Space)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [representation-learning, JEPA, LeCun, world-model, information-theory] +sources: [raw/articles/lecun-llm-boundary-future-2026.md] +--- + +# 抽象表征空间 (Abstract Representation Space) + +[[jepa|JEPA]] 架构中执行预测和规划的核心空间。区别于像素空间、token 空间，是对世界状态的语义级压缩表征。 + +## 为什么必须在抽象空间？ + +### 信息论论证 + +- 像素空间：$H(pixel|context)$ 极高——即便给定充分上下文，像素取值仍高度不确定 +- 语义空间：$H(state|context)$ 相对低且结构化——提供可靠预测的稳定着力点 + +### 维度对比 + +- 256×256 RGB 像素：**196,608 维** +- LeWorldModel 潜在表示：**192 维**（~1000× 压缩） + +在抽象空间做预测，模型算力集中于因果结构，而非纹理、光照、阴影、水面折射等对决策无用的细节。 + +### 与 token 空间的区别 + +| 维度 | Token 空间 | 抽象表征空间 | +|------|-----------|------------| +| 搜索方式 | 离散符号枚举 | 连续向量优化 | +| 物理世界适用性 | ❌ 行动空间连续高维不可枚举 | ✅ 不依赖离散符号可枚举性 | +| 规划性质 | "哪段话听起来合理" | "走这条路会到哪里" | + +## LeCun 的表述 + +> "我在 JEPA 中谈的是，你不是在词元空间里做这件事，而是在抽象思维空间里做。" + +## 认知科学对应 + +人类在想象"推水瓶"时，直觉物理工作在抽象的、去噪的、以物体为中心的表征层——你知道"瓶子会倒"，但大脑不生成瓶身每个反光点的精确 RGB 值。JEPA 正是对这一生物直觉的工程模拟。 + +## 来源 + +- [[lecun-llm-boundary-future|原始文章]] +- [[jepa|JEPA]] +- [[world-model-lecun|LeCun 世界模型]] diff --git a/concepts/action-consequence-prediction.md b/concepts/action-consequence-prediction.md new file mode 100644 index 0000000..4e62155 --- /dev/null +++ b/concepts/action-consequence-prediction.md @@ -0,0 +1,43 @@ +--- +title: "预测行动后果 (Action Consequence Prediction)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [intelligence, planning, world-model, LeCun, agent] +sources: [raw/articles/lecun-llm-boundary-future-2026.md] +--- + +# 预测行动后果 (Action Consequence Prediction) + +智能系统应具备的核心能力之一，也是 LeCun 认为 LLM **缺失**的第一大能力。 + +## 为什么如此关键？ + +> "智能的本质不是反应，而是选择。" + +一个系统如果无法预判"做了这件事之后会发生什么"，只能被动响应当前输入，无法主动权衡和制定策略。没有这个能力，"行动"不过是刺激与反应之间的映射，和反射弧没有本质区别。 + +## 神经科学视角 + +- 发表在 *Nature Neuroscience* 的研究：**大脑本质上是一台预测机器**，而非反应机器 +- 处理感官信号需几百毫秒，而世界不会等你——大脑必须提前下注，用预测跑在现实前面 +- 流程：在内部持续模拟"行动→后果"循环，用预测指导行动，用感知校正预测 + +## LLM 的根本差距 + +- LLM **没有内部模拟器** +- 它描述行动后果的能力来自训练数据里人类写下的经验，而非自己模拟出来的现实 +- 上一个 token 的影响和下一个 token 的预测之间，基本没有反馈回路 + +## LeCun 的解决方案 + +[[jepa|JEPA]] + [[world-model-lecun|世界模型]]：整个预测过程发生在行动之前，先在内部模拟，而非盲目试错。 + +预测行动后果是[[multi-step-planning|多步规划]]的前提——没有世界模型告诉系统"走这条路会到哪里"，搜索只能盲目试错。 + +## 来源 + +- [[lecun-llm-boundary-future|原始文章]] +- [[multi-step-planning|多步规划]] +- [[jepa|JEPA]] +- [[world-model-lecun|LeCun 世界模型]] diff --git a/concepts/action-decoder.md b/concepts/action-decoder.md new file mode 100644 index 0000000..cde3861 --- /dev/null +++ b/concepts/action-decoder.md @@ -0,0 +1,47 @@ +--- +title: "动作解码器 (Action Decoder)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, mdp, optimization, operations-research] +sources: [raw/papers/chen-bellman-taylor-score-2026.md] +confidence: high +--- + +# 动作解码器 (Action Decoder) + +动作解码器是 [[bellman-taylor-score-decoding|BTSD]] 框架的核心组件——将**无约束欧氏得分向量 z 映射为原始 MDP 中的可行动作 a**，通过求解优化问题实现。 + +## 定义 + +``` +Γ(s, z) ∈ argmax_{a∈A(s)} [ψ_s(a) + ⟨z, φ_s(a)⟩] +``` + +其中 `φ_s(a)` 是后动作配置表示，`ψ_s(a)` 是即时奖励，z 是策略学到的边际价值得分。 + +## 核心作用 + +1. **可行性保证**：输出始终在 A(s) 内，精确满足操作约束 +2. **学习-可行性分离**：策略只负责输出 z，约束处理完全外置 +3. **无需梯度**：解码器仅在 MDP 交互的前向传播中使用，策略梯度不涉及解码器的导数 +4. **结构感知**：优化问题编码了运筹学领域的结构知识（线性/整数规划等） + +## 与 differentiable optimization 的区别 + +| 维度 | Differentiable Opt | Action Decoder | +|------|-------------------|----------------| +| 角色 | 可训练层 | 固定前向映射 | +| 梯度 | 需反向传播 | 不需求导 | +| 训练 | 端到端梯度 | 策略梯度（REINFORCE） | +| 组合动作 | 难以处理 | 可直接支持 | + +## 计算代价 + +每次动作选择需要求解一个优化问题——这是 BTSD 相对于直接参数化策略的主要额外开销。但许多 OR 问题的优化问题高度结构化，可被高效求解。 + +## 参考 + +- [[bellman-taylor-score-decoding|BTSD]] +- [[latent-score-mdp|潜在得分 MDP]] +- [[state-dependent-feasible-action-sets|状态依赖可行动作集]] diff --git a/concepts/action-head-router.md b/concepts/action-head-router.md new file mode 100644 index 0000000..3c251f2 --- /dev/null +++ b/concepts/action-head-router.md @@ -0,0 +1,51 @@ +--- +title: "动作头路由器 (Action Head Router)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [architecture, routing, reinforcement-learning] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# 动作头路由器 (Action Head Router) + +动作头路由器是 [[tarpo|TARPO]] 框架中的**轻量级路由决策模块**——一个附加在 LLM 骨干上的线性投影层，用于在每一步决定推理模式。 + +## 结构 + +``` +rho(h_t) = Softmax(W_r * h_t + b_r) +``` + +- `h_t ∈ R^d`：Transformer 最后一层隐藏状态 +- `W_r ∈ R^{2×d}`：将 d 维隐藏状态投影到 2 维（hard/soft 概率） +- `b_r ∈ R^2`：偏置项，初始化对训练有关键影响 + +这就是全文最 "lightweight" 的部分——仅 `2d + 2` 个参数。 + +## 初始化策略 + +偏置 `b_0` 的初始化影响模型对 hard/soft 的初始偏好： + +- `b_0 = [2.2, 0]`：偏向 hard → 保守起点，soft 比率随训练逐渐上升 +- `b_0 = [0.85, 0]`：较均衡 → 早期就有较多 soft token +- 默认采用轻度 hard 偏好，与模型的自然倾向一致 + +## 训练与推理 + +- **训练时**：从 `ρ_θ` 采样路由决策，鼓励结构探索 +- **推理时**：支持随机和确定性两种路由策略 + +## 与 LLM 骨干的关系 + +动作头是**最小侵入性**的——它不改变 Transformer 架构，仅读取最后一层隐藏状态作为输入。这种解耦设计使得： +1. 可轻松适配不同规模的 LLM +2. 路由决策和 token 生成使用共享的 advantage 信号联合优化 +3. 训练稳定，不会干扰骨干的预训练知识 + +## 参考 + +- [[action-routing-policy|动作路由策略]] +- [[token-wise-routing|逐token路由]] +- [[tarpo|TARPO]] diff --git a/concepts/action-realization-layer.md b/concepts/action-realization-layer.md new file mode 100644 index 0000000..6d530ac --- /dev/null +++ b/concepts/action-realization-layer.md @@ -0,0 +1,40 @@ +--- +title: "Action Realization Layer（动作实现层）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, harness, action-validation, execution] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +--- + +# Action Realization Layer + +> Life-Harness 的第③层：在模型输出动作之后、环境执行之前，基于确定性环境证据进行**可执行性验证和规范化**，阻断确定会失败的动作。 + +## 机制 + +``` +z_t = REALIZE_ACTION(a_t, τ_t, s_t) +z_t ∈ {EXEC(a_t), BLOCK(m_t)} +``` + +该层接收模型的原始动作 a_t 和当前轨迹/状态上下文，利用**确定性的环境证据**（tool schema、合法动作集、参数约束、任务策略）判断 a_t 是否合法可执行： + +- 若合法 → 规范化后提交给环境执行 +- 若不合法 → 返回阻塞消息 m_t 给模型，阻止无效调用消耗环境步骤配额 + +## 为什么关键 + +在 Life-Harness 的失败诊断中，**动作实现失败（Action Realization Failure）**占约 23%——模型的**意图本身合理**，但表达格式不符合环境的执行要求（如自由文本代替结构化 tool call、参数缺失或类型错误）。这些问题在确定性的规则环境下完全可被检测和阻断——不需要更强的模型推理能力。 + +## 设计原则 + +- **确定性验证**：只使用可程序化验证的环境约束，不做模糊语义判断 +- **规范化**：将合法但格式松散的动作转为标准格式 +- **即时反馈**：阻塞消息让模型立即修正，避免浪费后续步骤 + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[environment-contract-layer|环境契约层]] +- [[trajectory-regulation-layer|轨迹调控层]] +- [[deterministic-agent-failures|确定性 Agent 失败分类]] diff --git a/concepts/action-routing-policy.md b/concepts/action-routing-policy.md new file mode 100644 index 0000000..6c784dc --- /dev/null +++ b/concepts/action-routing-policy.md @@ -0,0 +1,59 @@ +--- +title: "动作路由策略 (Action-Routing Policy)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, routing, policy-gradient] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# 动作路由策略 (Action-Routing Policy) + +动作路由策略是 [[tarpo|TARPO]] 框架中将**推理模式选择形式化为 RL 策略**的核心抽象。 + +## 形式化定义 + +将推理模式选择建模为二元离散动作空间 `D = {hard, soft}` 上的随机策略： + +``` +ρ_θ(d_t | h_t) = Softmax(W_r * h_t + b_r) +``` + +其中 `W_r ∈ R^{2×d}` 和 `b_r ∈ R^2` 是 [[action-head-router|动作头]] 的可训练参数。 + +## 策略优化目标 + +路由策略与 LLM 骨干共享 group-relative advantage 信号： + +``` +L_act = -(1/T) * sum_{t=1}^{T} log ρ_θ(d_{i,t} | h_{i,t}) * A_hat_i +``` + +- 当 advantage 为正时，鼓励当前路由决策 +- 当 advantage 为负时，惩罚当前路由决策 +- 通过 λ 超参数控制路由目标在总损失中的权重 + +## KL 正则化 + +为保证训练稳定性，对路由策略施加 KL 惩罚： + +``` +L_KL = sum_t [δ_t * D_KL(π_θ || π_ref) + α * D_KL(ρ_θ || ρ_ref)] +``` + +- `δ_t = ρ_θ(Hard | h_t)`：只在 hard 模式下施加 token 级 KL +- α 控制路由策略 KL 的强度 + +## 关键特性 + +- **可学习**：完全通过 RL 优化，无需预设启发式阈值 +- **随机性保留**：从策略采样（而非 argmax）保证探索 +- **初始化敏感性**：初始偏置 `b_0` 影响 soft 比率和训练 reward 动态 + +## 参考 + +- [[action-head-router|动作头路由器]] +- [[token-wise-routing|逐token路由]] +- [[tarpo|TARPO]] +- [[grpo|GRPO]] diff --git a/concepts/activation-manifold.md b/concepts/activation-manifold.md new file mode 100644 index 0000000..5b821cc --- /dev/null +++ b/concepts/activation-manifold.md @@ -0,0 +1,49 @@ +--- +title: "Activation Manifold" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, interpretability, representation-geometry] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Activation Manifold（激活流形） + +## 定义 + +激活流形假说（Xu et al., 2026）认为：LLM 中间层的激活集中在训练过程中自然形成的低维流形 $M_l \subset \mathbb{R}^{d_l}$ 上或其附近。 + +**形式化**（Assumption 4.1）： +$$\Pr_{x \sim X_{\text{stable}}} [d(h_l(x), M_l) \leq \epsilon] \geq 1 - \delta$$ + +对稳定处理的输入，激活以高概率靠近 $M_l$。 + +## 流形偏离与效用退化 + +这是理解 preference–utility 折衷的**关键机制**： + +- 导向干预将激活沿偏好方向平移：$\tilde{h}_l(m) = h_l + m \Delta h$ +- 小幅平移（|m| 小）：激活仍靠近流形，行为可被下游层正确解码 → 定向调整行为 +- 大幅平移（|m| 大）：激活偏离流形的高密度区域 → 表示-解码器失配 → **效用崩溃** + +## 有效性衰减函数 + +使用 Rational Quadratic (RQ) 衰减建模 $D(m)$——偏离流形距离的平滑衰减： + +$$D(m) = \begin{cases} [1 + (m-m_+)^2/L_+]^{-p_+} & m \geq 0 \\ [1 + (m-m_-)^2/L_-]^{-p_-} & m < 0 \end{cases}$$ + +- $m_\pm$：导向轨迹与流形邻域的交点 +- $L_\pm$：衰减特征尺度（方向与流形平行时大，切割流形时小） +- $p_\pm$：衰减速率 + +## 理论意义 + +将导向控制的质量退化**从经验现象提升为几何可预测的机制**：偏好由投影增益决定，效用退化由偏离流形决定。 + +## 相关概念 + +- [[validity-decay]] — $D(m)$ 的详细分析 +- [[representation-validity]] — 表示有效性与解码可靠性 +- [[steering-dynamics]] — 三阶段动态的行为表现 +- [[preference-utility-analysis]] — 偏好-效用分析框架 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/activation-steering.md b/concepts/activation-steering.md new file mode 100644 index 0000000..9020158 --- /dev/null +++ b/concepts/activation-steering.md @@ -0,0 +1,46 @@ +--- +title: "Activation Steering" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, interpretability, inference-time-intervention] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Activation Steering（激活导向） + +## 定义 + +激活导向是在推理时修改 LLM 中间层表示的方法，通过向选定激活添加一个导向向量： + +$$h_{i+1} = W h_i + b + mv$$ + +其中 $v$ 是预定的方向，$m$ 是标量系数。 + +## 理论基础 + +激活导向建立在**线性表示假说** ([[linear-representation-hypothesis]]) 之上：抽象概念在表示空间中近似对应线性子空间。导向向量 $v$ 可以从概念正负样本的激活差异中提取（DiffMean）。 + +## 在统一框架中 + +在 Xu et al. (2026) 的统一动态权重视角中，激活导向等价于仅修改偏置 b： + +$$h_{i+1} = W h_i + (b + m\Delta b)$$ + +$$\Delta h = m\Delta b$$ + +它是动态权重更新中**参数规模最小**（仅 $d_{out}$ 参数）的形式。 + +## 常见方法 + +- **DiffMean**（Marks & Tegmark, 2023）：无训练，从对比对中取激活差值的均值 +- **SFT**：监督微调导向向量 +- **RePS**：基于偏好的训练 + +## 相关概念 + +- [[dynamic-weight-updates]] — 统一框架 +- [[steering-vector]] — 导向向量的提取方法 +- [[linear-representation-hypothesis]] — 线性空间假设 +- [[split-steering]] — 改进的向量训练方法 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/adapter-protocol.md b/concepts/adapter-protocol.md new file mode 100644 index 0000000..6a29333 --- /dev/null +++ b/concepts/adapter-protocol.md @@ -0,0 +1,50 @@ +--- +title: "适配器协议 (Adapter Protocol)" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [coding-agent, evaluation, benchmarking] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# 适配器协议 (Adapter Protocol) + +## 定义 + +Claw-SWE-Bench 中的适配器协议是一组标准化的生命周期接口，用于将异构 agent harness（claw）连接到统一的 SWE-bench 评测管道。它不需要不同 harness 使用相同的内部 agent 循环，而是标准化 harness 与 benchmark 生命周期之间的接口。 + +## 接口方法 + +每个受支持的 harness 实现五个抽象方法： + +| 方法 | 职责 | +|------|------| +| `create_agent` | 创建或配置 agent 实例 | +| `send_task` | 派发实例化的任务 | +| `backup_session` | 保存运行产物 | +| `delete_agent` | 清理 harness 状态 | +| `get_docker_args` | 提供 harness 特定的 Docker 参数 | + +## 设计原则 + +1. **职责分离:** 容器管理、prompt 实例化、patch 收集、预测写入、元数据记录由 benchmark 层统一处理 +2. **最小接口:** 每个 harness adapter 仅需连接其 agent 到该生命周期 +3. **Patch 来源独立:** 候选 patch 从**仓库状态**收集，而非从 agent 最终消息解析——无论 harness 输出 JSON、纯文本、自然语言还是没有结构化响应 + +## Full Adapter vs Bare Adapter + +| | Bare Adapter | Full Adapter | +|---|---|---| +| Docker 访问 | 最小 | 完整 workspace 准备 | +| Patch 提取 | 要求模型输出 unified diff | Git diff from /testbed | +| Future-Commit 清理 | 无 | 有 | +| Apply Failed | 69.1% | <1.5% | +| Pass@1 (GLM 5.1) | 19.1% | 73.4% | + +**关键洞察:** Bare adapter 的瓶颈不是模型不会编辑代码，而是直接生成 unified-diff 文本的脆弱性——行号、上下文、hunk header、尾部换行都可能导致 patch 无法 apply。 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[agent-harness|Agent Harness]] +- [[patch-based-evaluation|Patch-Based Evaluation]] +- [[bare-adapter|Bare Adapter]] diff --git a/concepts/adaptive-adversary.md b/concepts/adaptive-adversary.md new file mode 100644 index 0000000..13d5626 --- /dev/null +++ b/concepts/adaptive-adversary.md @@ -0,0 +1,44 @@ +--- +title: "自适应对手 (Adaptive Adversary)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["multi-agent-rl", "online-learning", "game-theory"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# 自适应对手 (Adaptive Adversary) + +**自适应对手**是其行为依赖于学习者**过去策略**的对手——不同于 oblivious 对手（行为预固定、不随学习者改变）。 + +## 形式化 + +m-memory bounded 对手 R： + +``` +g^t = R_t(pi^{t-m+1}, ..., pi^t) +``` + +对手在第 t 步的响应仅依赖最近 m 个 episode 的学习者策略。当学习者重复固定策略 pi 时，对手收敛到稳态响应 R_inf(pi)。 + +## 为什么自适应对手难处理 + +1. **External regret 失效**：标准 regret 将对手行为视为固定序列——在自适应对手下，如果学习者选择了不同策略，对手行为也会不同 + +2. **无界记忆不可能**（Arora et al., 2012）：当对手可以无限记忆时，任何算法都无法获得次线性 regret + +3. **反事实推理**：评估策略 pi 需要知道"如果一直用 pi，对手会怎么反应"——这需要对手响应函数的模型 + +## 结构条件 + +[[minimax-policy-regret-pomg|Arora (2026)]] 引入两类条件使自适应对手可处理： + +- **有限记忆**：m < infinity（否则 regret 不可能次线性） +- **[[posterior-lipschitz-adversary|Posterior-Lipschitz]]**：响应平滑变化 +- **[[fading-memory|几何衰减记忆]]**：扩展——允许无限但衰减的记忆 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[policy-regret|Policy Regret]] +- [[posterior-lipschitz-adversary|Posterior-Lipschitz Adversary]] +- [[fading-memory|Fading Memory]] diff --git a/concepts/agent-harness-safety.md b/concepts/agent-harness-safety.md new file mode 100644 index 0000000..9a8c7bc --- /dev/null +++ b/concepts/agent-harness-safety.md @@ -0,0 +1,38 @@ +--- +title: "Agent Harness Safety" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-safety, harness, trajectory-audit] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# Agent Harness Safety + +**Agent 骨架安全**是将 Agent 安全评测的对象从"模型的最终回答"转移到"执行骨架的完整轨迹"的范式。由 [[liu-auditing-agent-harness-safety|Auditing Agent Harness Safety]] 论文明确提出和系统化。 + +## 核心主张 + +> Agent safety should be evaluated on the **harness** rather than the response, and audited over the full **execution trajectory**. + +一个 [[execution-harness|执行骨架]] 可以在返回正确、良性的最终答案的同时，在过程中越权访问资源、将私有上下文泄露给错误的 Agent、或触发不可逆的副作用。仅评测最终输出无法发现这些故障模式——这就是"输出级评测"的根本盲区。 + +## 三层安全审计 + +HarnessAudit 框架将骨架安全分解为三个联合评估的层次： + +| 层次 | 名称 | 审计内容 | +|------|------|---------| +| L1 | [[boundary-compliance|边界合规]] | 工具/资源/信息流是否越界 | +| L2 | [[execution-fidelity|执行忠实度]] | 中间步骤有效性 + 检查点完成 | +| L3 | [[system-stability|系统稳定性]] | 扰动下 L1/L2 是否保持 | + +三层必须**同时满足**才能视为安全可部署——每一层对应其他层无法检测的独特故障模式。 + +## 与现有 Agent Safety 的区别 + +传统的 [[agent-safety-evaluation|Agent 安全评测]] 主要依赖输出审核（output moderation），而 HarnessAudit 通过 [[hidden-audit-channel|隐藏审计通道]] 独立记录工具调用、资源访问和组件间通信，实现了与 Agent 自报无关的轨迹级证据链。 + +## 关键指标 + +[[safety-adherence-rate|安全遵守率 (SAR)]] 作为**乘法性安全门控**：只有当安全约束被满足时，任务完成和高忠实度才有意义。这确保了"快但不安全"的执行不会获得高分。 diff --git a/concepts/agent-harness.md b/concepts/agent-harness.md new file mode 100644 index 0000000..bf30af4 --- /dev/null +++ b/concepts/agent-harness.md @@ -0,0 +1,45 @@ +--- +title: "Agent Harness (Claw)" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [coding-agent, evaluation, multi-agent] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# Agent Harness (Claw) + +## 定义 + +Agent Harness（在 Claw-SWE-Bench 的术语中称为 **claw**）是将 LLM 包装为自主编程系统的 harness 层——包括 agent 循环、工具接口、工作空间管理、停止策略等。它不是模型本身，而是将模型的推理能力转化为可操作的代码编辑行为的**工程层**。 + +## 与传统 SWE-bench 评测的区别 + +传统 SWE-bench 评测将 prompt 模板、agent 循环、工具接口、超时、patch 提取和停止逻辑打包为单一系统报告。这导致 **三个因果独立因素的混淆**： +1. 被评测的 LLM +2. 将 LLM 转化为 agent 的 harness +3. 被解决的任务实例 + +Claw-SWE-Bench 将 harness 提升为**受控实验变量**。 + +## 核心要素 + +一个 claw 的关键设计空间包括： +- **Agent 循环:** 如何管理多轮交互和状态 +- **工具接口:** 暴露给模型的工具集（文件读写、shell 执行等） +- **工作空间管理:** 容器、仓库、依赖环境 +- **停止策略:** 何时判定任务完成 +- **System Prompt:** 任务指令、约束条件、输出格式 + +## 实验证据 + +在 Claw-SWE-Bench 的五 claw × 双模型扫掠中： +- 固定 GLM 5.1：Pass@1 从 60.9% 到 73.4%（**12.5 pp 差距**） +- 固定 Qwen 3.6-flash：Pass@1 从 38.6% 到 66.0%（**27.4 pp 差距**） + +Harness 选择的差异可与相邻模型层级的差异相当甚至更大。 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[adapter-protocol|适配器协议]] +- [[harness-model-interaction|Harness × Model 交互]] diff --git a/concepts/agent-observability.md b/concepts/agent-observability.md index a653a1c..55b9d42 100644 --- a/concepts/agent-observability.md +++ b/concepts/agent-observability.md @@ -48,5 +48,9 @@ Agent 可观测性是 ETCLOVG 七层分类法中的第五层（O），从 Lifecy ## 相关概念 - [[etclovg-taxonomy]] — 七层分类体系 - [[lifecycle-orchestration]] — 编排层（O 层从中独立） +- [[open-telemetry|OpenTelemetry (OTel)]] — 事实标准 +- [[logfire|Logfire]] — Pydantic 生态的 OTel 可观测平台，4 行代码接入，SQL 查询 trace +- [[drift-detection|漂移检测]] — 在"第 47 次报错"前看到"第 32 次开始不对劲" - [[agent-harness-engineering]] — 总体框架 - [[cost-quality-speed-trilemma]] — 成本维度 +- [[pydantic-three-piece-suite|Pydantic 三件套]] — 从校验到可观测到 Agent 类型安全 diff --git a/concepts/agent-token-budget-optimization.md b/concepts/agent-token-budget-optimization.md new file mode 100644 index 0000000..7cea9e7 --- /dev/null +++ b/concepts/agent-token-budget-optimization.md @@ -0,0 +1,50 @@ +--- +title: "Agent Token Budget Optimization" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [token-economics, budget, optimization, agent] +sources: [[chen-token-economics-llm-agents]] +--- + +# Agent Token Budget Optimization + +**Agent Token 预算优化**是 [[micro-level-token-economics|微观 Token 经济学]] 的核心方法论，研究在给定 Token 预算约束下如何最大化 Agent 输出质量。对应新古典企业理论中的**要素替代优化**问题。 + +## 核心公式 + +``` +max Quality(A; T_input, T_reason, T_memory, T_tool) +s.t. Σ(T_i × p_i) ≤ Budget +``` + +给定预算 B，在推理、记忆、工具调用等 Token 类型之间进行最优分配。 + +## 五大优化策略 + +| 策略 | 描述 | 对应 Token 类型 | +|------|------|----------------| +| **KV-Cache 共享** | 多轮对话中共享注意力缓存 | 计算 Token | +| **投机解码** | 草稿模型加速推理 | 计算 Token | +| **上下文压缩** | 摘要/关键帧选择替代完整历史 | 记忆 Token | +| **工具调用批量化** | 合并多次工具调用为一次 | 工具 Token | +| **CoT 压缩** | 减少推理步骤的冗长度 | 推理 Token | + +## 两阶段优化模式 + +实际系统通常采用两阶段： +1. **Adaptive Budget Allocation**：根据任务复杂度动态分配初始预算 +2. **Online Budget Monitoring**：执行过程中监控消耗，触发重分配或提前终止 + +## 预算感知 vs 预算不感知 + +| 模式 | 行为 | 风险 | +|------|------|------| +| 预算不感知 | Agent 无限制生成，依赖外部截断 | 关键推理被截断、"Lost in the Middle" | +| 预算感知 | Agent 在已知预算内主动优化 | 策略性压缩、质量-效率权衡 | + +## 与相关概念 + +- [[token-efficiency|Token 效率]] 是预算优化的具体技术目标 +- [[differentiable-token-budgeting|可微 Token 预算]] 是前沿方向——将预算从外生参数变为可学习参数 +- [[cost-quality-speed-trilemma|三元悖论]] 中成本维度直接对应预算约束 diff --git a/concepts/aleatoric-uncertainty.md b/concepts/aleatoric-uncertainty.md new file mode 100644 index 0000000..194751d --- /dev/null +++ b/concepts/aleatoric-uncertainty.md @@ -0,0 +1,34 @@ +--- +title: "随机不确定性 (Aleatoric Uncertainty)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["uncertainty-quantification", "bayesian-deep-learning"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 随机不确定性 (Aleatoric Uncertainty) + +**随机不确定性**（Aleatoric Uncertainty）是数据本身固有的、不可减少的噪声。与 [[epistemic-uncertainty|认知不确定性]]（模型知识不足）不同，它不能被更多训练数据所消除。 + +## 形式化定义 + +通过专用的不确定性输出头估计：sigma^2_aleatoric = softplus(g(z)) + +Softplus 激活函数确保方差的非负性。 + +## 临床意义 + +- **测量噪声**：高随机不确定性可能指示传感器误差、数据录入错误或不一致的临床测量 +- **内在变异性**：患者生理指标的天然波动 +- **与认知不确定性的互补**：两者需要不同的临床响应策略 + +| 不确定性类型 | 可能的响应 | +|------------|----------| +| 高随机不确定性 | 检查数据质量、重复测量 | +| 高认知不确定性 | 触发专家审核、收集更多代表性数据 | + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[epistemic-uncertainty|认知不确定性]] +- [[uncertainty-quantification|不确定性量化]] diff --git a/concepts/algebraic-numbers-countability.md b/concepts/algebraic-numbers-countability.md new file mode 100644 index 0000000..f640500 --- /dev/null +++ b/concepts/algebraic-numbers-countability.md @@ -0,0 +1,50 @@ +--- +title: "代数数的可数性" +created: 2026-06-07 +updated: 2026-06-07 +type: concept +tags: [代数, 集合论, 无穷, 数学史] +--- + +# 代数数的可数性 + +代数数集合是可数的——即代数数与自然数之间存在一一对应。这一结论最初由 [[richard-dedekind|狄德金]] 在1873年证明，但在 [[georg-cantor|康托尔]] 1874年的著名论文中，这一证明被康托尔以自己名义发表而未给出处。 + +## 什么是代数数 + +**代数数**（algebraic number）是整系数多项式方程的根。即存在整数 $a_0, a_1, \ldots, a_n$（不全为零），使得： + +$$a_n x^n + a_{n-1} x^{n-1} + \cdots + a_1 x + a_0 = 0$$ + +例如： +- 所有有理数都是代数数（一次方程的根） +- $\sqrt{2}$ 是代数数（$x^2 - 2 = 0$ 的根） +- 黄金比例 $\phi$ 是代数数（$x^2 - x - 1 = 0$ 的根） + +## 狄德金的证明（1873年） + +核心思路： +1. 每个代数数对应一个整系数多项式 +2. 每个多项式可以用其系数（整数元组）唯一标识 +3. 所有整数的有限元组是可数的 +4. 因此所有代数数也是可数的 + +狄德金在1873年11月30日写给康托尔的信中详细给出了这个证明（这封信失踪150年后于2025年被重新发现）。 + +## 康托尔的署名争议 + +康托尔1874年发表于《克雷勒杂志》的论文将代数数的可数性作为"特洛伊木马"——放在论文前半部分以避开反无穷派 [[leopold-kronecker|克罗内克尔]] 的警觉。论文后半部分则是康托尔独立证明的实数不可数性。 + +康托尔刻意抹去了狄德金贡献的痕迹，二人友谊此后中断。详见 [[cantor-stole-infinity|窃取无穷的数学家]]。 + +## 为何这一结果重要 + +代数数包含大量"复杂"的数，直觉上似乎比整数"多得多"。但狄德金的证明表明，从集合大小的角度看，代数数和整数一样"少"（都是可数的）。这一反直觉的结果是 [[infinity-hierarchy|无穷层级体系]] 的第一个关键组件，与实数不可数性结合，才完整证明了"存在不同大小的无穷"。 + +## 相关条目 + +- [[infinity-hierarchy|无穷层级体系]] +- [[countable-uncountable-infinity|可数与不可数无穷]] +- [[richard-dedekind|里夏德·狄德金]] +- [[georg-cantor|格奥尔格·康托尔]] +- [[cantor-stole-infinity|窃取无穷的数学家]] diff --git a/concepts/algorithmic-equity.md b/concepts/algorithmic-equity.md new file mode 100644 index 0000000..1741c23 --- /dev/null +++ b/concepts/algorithmic-equity.md @@ -0,0 +1,37 @@ +--- +title: "算法公平性 (Algorithmic Equity)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["fairness", "clinical-ai", "health-equity"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 算法公平性 (Algorithmic Equity) + +**算法公平性**关注机器学习系统在不同人口群体中是否产生公正的结果，特别关注系统性地对弱势群体产生不利影响的模式。 + +## 医疗 AI 中的公平性问题 + +关键里程碑： + +- **Obermeyer et al. (2019, Science)**：广泛部署的商业医疗风险算法系统性将 Black 患者标记为比同等病情的 White 患者更低风险——根因是使用医疗成本作为健康需求的代理指标 +- **Seyyed-Kalantari et al. (2021, Nature Medicine)**：AI 算法对弱势患者群体的胸部 X 光片诊断不足 +- **Celi et al. (2022, PLOS Digital Health)**：全球审查确定三大偏见来源：数据代表性、代理结果、分布偏移 + +## 不确定性与公平性的连接 + +[[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 提出范式转换：**校准后的认知不确定性是公平性信号**。 + +传统公平性审计依赖事后准确率差异——但准确率对系统性偏见不敏感（农村 85.5% vs 三级 82.6%，仅差 2.9pp）。[[uncertainty-equity-gap|UEG]] 在同一场景中检测到 15.3% 的差异。 + +## 核心机制 + +训练数据偏向优势群体 → 弱势群体为 OOD → 认知不确定性升高 → UEG 信号 + +效应量层级（设施 > SES > 年龄 > 性别）精确映射结构性健康不平等的驱动因素。 + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[uncertainty-equity-gap|UEG]] +- [[clinical-ai|临床 AI]] diff --git a/concepts/and-or-interactions.md b/concepts/and-or-interactions.md new file mode 100644 index 0000000..e92002d --- /dev/null +++ b/concepts/and-or-interactions.md @@ -0,0 +1,43 @@ +--- +title: "AND-OR 交互 (AND-OR Interactions)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [interactions, interpretability, DNN, LLM] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# AND-OR 交互 (AND-OR Interactions) + +## 定义 + +AND-OR 交互是 [[interaction-based-explanation|交互基解释]] 框架中用于分解 DNN 推理模式的两种基本交互类型。给定输入变量集合 $N = \{1, 2, ..., n\}$： + +- **AND 交互** $I_T^{\text{and}}$：当且仅当 $T \subseteq N$ 中**所有**变量同时存在于输入中时激活 +- **OR 交互** $I_T^{\text{or}}$：当 $T \subseteq N$ 中**任一**变量存在于输入中时激活 + +## 在 LLM 中的语义 + +在 LLM 语境下，每个交互对应一个**短语模式**（phrase pattern）。例如： +- 三个词 "laws"、"of"、"motion" 组成的 AND 交互：仅当三个词同时出现时，为预测 "acceleration" 贡献 +0.41 +- 两个词 "force"、"mass" 组成的 OR 交互：任一词出现时即激活 + +## 数学形式 + +由 AND-OR 交互构建的 [[logical-model-interaction|逻辑模型]] $\phi(x')$ 为： + +$$\phi(x') = \sum_{T \in \Omega^{\text{and}}} I_T^{\text{and}} \cdot \mathbb{1}(\text{AND}_T) + \sum_{T \in \Omega^{\text{or}}} I_T^{\text{or}} \cdot \mathbb{1}(\text{OR}_T) + b$$ + +其中 $b$ 为偏置标量，$\Omega^{\text{and}}$ 和 $\Omega^{\text{or}}$ 分别为 AND 和 OR 交互的集合。 + +## 提取方法 + +通过最小化 LASSO 类损失函数，将网络输出分解为 AND 和 OR 两个分量，分别提取对应的交互效应。详见 Chen et al. (2024) 和 Li & Zhang (2024)。 + +## 相关概念 + +- [[interaction-based-explanation|交互基解释]] +- [[logical-model-interaction|交互逻辑模型]] +- [[interaction-order|交互阶数]] +- [[interaction-types-sft|SFT 中的三类交互]] diff --git a/concepts/arxiv.md b/concepts/arxiv.md new file mode 100644 index 0000000..d17094e --- /dev/null +++ b/concepts/arxiv.md @@ -0,0 +1,23 @@ +--- +title: "arXiv" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [arxiv, preprint, research, publishing] +status: placeholder +--- + +# arXiv + +> ⚠️ 占位符页面 — 待完善 + +arXiv 是全球最大的学术预印本平台，覆盖物理学、计算机科学、数学、生物学等领域。本 wiki 中大部分论文来自 arXiv。 + +**arXiv ID 格式**： +- 新版：`YYMM.NNNNN`（如 `2605.17967`） +- 旧版：`archive/YYMMNNN`（如 `hep-th/0601001`） + +## 相关概念 + +- [[knowledge-injection|知识注入]] +- [[kore-knowledge-injection]] diff --git a/concepts/automatic-prompt-optimization.md b/concepts/automatic-prompt-optimization.md new file mode 100644 index 0000000..737e046 --- /dev/null +++ b/concepts/automatic-prompt-optimization.md @@ -0,0 +1,48 @@ +--- +title: "APO 自动提示工程 (Automatic Prompt Optimization)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [prompt-engineering, optimization, llm-deployment, apo] +sources: [raw/articles/qifu-llm-finance-practice-2026.md] +--- + +# APO 自动提示工程 (Automatic Prompt Optimization) + +奇富科技王元总结的**自动提示优化实践经验**。APO 最适合作为高质量 Base Prompt 的基线生成器，在大模型落地初期避免盲目微调。 + +## 核心经验 + +### 设计原则 + +- **System prompt 不宜过长**，User prompt 的约束力通常更强 +- 利用评测数据集，APO 作为 **first draft**，人工少量修改去除过拟合 +- 话术和初始提示词结构应经过设计来适应特定任务（如拆分为可优化部分和不变部分） + +### 工程实践 + +- **更小的模型提升幅度会更大** — APO 对小模型性价比更高 +- **必须 Batch 处理更新** — 否则容易优化一条样本却劣化很多条样本（蒙特卡洛过程的不稳定性） +- APO 本质是蒙特卡洛过程，**不具备传统梯度下降的稳定性** +- **仅处理错误样本不会获得更好的泛化性** + +### Trace 优化 + +Trace 框架可优化的对象不仅是提示词： +- 函数、提示词、工具描述——涉及文本的都可以交给 Trace 框架 +- 充分发挥**全局优化能力**，将流程中的函数和变量信息通过注解引入 +- 可以极大提升优化速度和效果 + +### 验证策略 + +- 验证集如果采用和训练集一样的数据，可以显著提升训练集分数，但会**失去泛化性** +- 需要使用验证集来**维护帕累托前沿** + +## 与 DSPy 的关系 + +APO 的思想与 DSPy 的自动提示优化高度相似——都是将提示工程从手工调参转变为**程序化优化问题**。奇富科技的实践侧重于工程落地的经验教训。 + +## 参考 + +- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享 +- [[post-hoc-reasoning-rl|后置推理 RL]] — APO 之后的后训练方案 diff --git a/concepts/auxiliary-predictive-objectives.md b/concepts/auxiliary-predictive-objectives.md new file mode 100644 index 0000000..efd923b --- /dev/null +++ b/concepts/auxiliary-predictive-objectives.md @@ -0,0 +1,51 @@ +--- +title: "辅助预测目标 (Auxiliary Predictive Objectives)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["deep-rl", "representation-learning", "self-supervised-learning"] +sources: ["[[predictive-representations-scalable-mtrl]]"] +--- + +# 辅助预测目标 (Auxiliary Predictive Objectives) + +在深度RL中，**辅助预测目标**是与主TD目标并行训练的额外损失函数，用于提供密集监督信号以改善表征学习。 + +## 标准预测目标 + +从潜状态 z_t 和动作 a_t 预测： + +1. **下一潜状态** z_{t+1}：动力学预测 → 捕捉因果关系 +2. **即时奖励** r_t：奖励预测 → 任务相关信号 +3. **终止信号** d_t：终止预测 → episode 结构 + +## 梯度流 + +预测目标的梯度**回传至编码器** phi： +``` +L_pred = ||phi(s_{t+1}) - f_pred(z_t, a_t)||^2 +``` + +编码器同时接收 TD 损失和预测损失的梯度 → 学习到同时支持值函数近似和动力学预测的表征。 + +## 在 MR.Q 中的实现 + +[[mrq-algorithm|MR.Q]] 使用潜空间预测（非像素空间），将预测目标直接作用于编码器输出的 z_t，避免高维重建的计算开销。 + +## 为什么有效 + +| 信号类型 | 稀疏性 | 平稳性 | 跨任务泛化 | +|---------|-------|--------|----------| +| 奖励信号 | 稀疏 | 非平稳 | 差 | +| 预测目标 | 密集 | 相对平稳 | 好 | + +预测目标提供**每个 transition** 的监督（而非仅奖励时刻），且动力学预测是任务无关的 → 天然适合多任务迁移。 + +## 与 Planning 的本质区别 + +预测目标学习的模型仅用于**表征塑造**——不做前向 rollout。这避免了模型误差累积和计算开销，同时保留了预测监督的表征收益。 + +## 参考 +- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]] +- [[mrq-algorithm|MR.Q]] +- [[predictive-representation-learning|Predictive Representation Learning]] diff --git a/concepts/banach-space.md b/concepts/banach-space.md new file mode 100644 index 0000000..665f1ff --- /dev/null +++ b/concepts/banach-space.md @@ -0,0 +1,46 @@ +--- +title: "Banach 空间 (Banach Space)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, functional-analysis, topology] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# Banach 空间 (Banach Space) + +Banach 空间是**完备赋范向量空间**——函数分析中最基础的无限维空间结构。在 [[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 的 [[functional-input-neural-networks|FNN]] 框架中作为输出空间。 + +## 定义 + +`(X, ‖·‖)` 是 Banach 空间，若： +1. 范数 `‖·‖` 完备（所有 Cauchy 序列收敛） +2. `‖x‖ ≥ 0`，等号当且仅当 x=0 +3. `‖λx‖ = |λ| ‖x‖`，`‖x+y‖ ≤ ‖x‖ + ‖y‖` + +## 关键性质 + +- **Hahn-Banach 定理**：线性泛函可延拓 +- **开映射定理**：满射连续线性映射是开映射 +- **一致有界原理**（Banach-Steinhaus） + +## 在 FNN 中的角色 + +FNN 的输出空间 Y 是 Banach 空间，允许： +- 线性读出层 `c_k ∈ Y` +- 范数控制的逼近误差界 +- BAP（有界逼近性质）的适用 + +## 常见例子 + +- Hilbert 空间（`L^2`）→ Banach 空间的特例 +- `L^p` 空间 (p ≠ 2) +- 连续函数空间 `C(K)` +- Sobolev 空间 + +## 参考 + +- [[infinite-dimensional-manifolds|无限维流形]] +- [[functional-input-neural-networks|FNN]] +- [[weighted-uat-manifolds|论文原文]] diff --git a/concepts/bare-adapter.md b/concepts/bare-adapter.md new file mode 100644 index 0000000..09d358e --- /dev/null +++ b/concepts/bare-adapter.md @@ -0,0 +1,43 @@ +--- +title: "Bare Adapter" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [benchmark, evaluation, coding-agent] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# Bare Adapter + +## 定义 + +Bare Adapter 是 Claw-SWE-Bench 中定义的**诊断基线**——提供最小化的 Docker 集成，要求模型直接在最终响应中输出 unified diff。它不是 Full Adapter 的逐组件消融，而是测试"最小接入是否足以创建可靠的 SWE-bench 评测目标"。 + +## 与 Full Adapter 的对比 + +| 能力 | Bare Adapter | Full Adapter | +|------|-------------|-------------| +| Docker 进入 | ✅ | ✅ | +| 发送 issue 描述 | ✅ | ✅ | +| 禁用不公平的网络检索 | ✅ | ✅ | +| Workspace 对齐 | ❌ | ✅ | +| Future-Commit 清理 | ❌ | ✅ | +| 共享阶段 Prompt | ❌ | ✅ | +| Git-based Patch 提取 | ❌ | ✅ | +| Patch 清理 | ❌ | ✅ | +| 输出方式 | 模型输出 unified diff | Runner 从仓库状态导出 diff | + +## 实验结果 + +- **Pass@1:** 19.1%（GLM 5.1） +- **Apply Failed:** 69.1% +- **瓶颈:** 不是模型不能编辑代码，而是直接生成 unified-diff 文本的脆弱性 + +## 诊断价值 + +Bare Adapter 证明了 adapter 设计**不是工程包装，而是评分可靠性的必要条件**——最小接入无法使通用 agent 成为 SWE-bench 的可靠评测目标。 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[adapter-protocol|适配器协议]] +- [[patch-based-evaluation|Patch-Based Evaluation]] diff --git a/concepts/bastiani-calculus.md b/concepts/bastiani-calculus.md new file mode 100644 index 0000000..1d0ac8d --- /dev/null +++ b/concepts/bastiani-calculus.md @@ -0,0 +1,50 @@ +--- +title: "Bastiani 微积分 (Bastiani Calculus)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, differential-calculus, functional-analysis] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# Bastiani 微积分 (Bastiani Calculus) + +Bastiani 微积分是**局部凸拓扑向量空间上的一种微分学**——在 [[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 中用于定义[[infinite-dimensional-manifolds|无限维流形]]上的可微映射。 + +## 为什么需要 + +有限维微积分依赖范数的等价性和局部紧性，这些在无限维中不成立。Bastiani 微积分使用**方向导数的连续性**作为可微的定义，避免了范数依赖。 + +## 定义 + +函数 `f : U → F`（U ⊆ E 开，E, F 局部凸空间）是 Bastiani C^1 的，若： + +1. 对每个方向 v ∈ E，方向导数 `Df(x)(v)` 存在 +2. 映射 `(x, v) ↦ Df(x)(v)` 在 `U × E → F` 上连续 + +## 高阶推广 + +k 次连续 Bastiani 可微类 `C^k_B` 定义在**所有多线性映射的连续组合**上。 + +## 论文中的适配 + +论文将 Bastiani 微积分适配到**σ-紧设置**： +- 标准 Bastiani 在任意开集上工作 +- 论文需要在 σ-紧流形上的全局分析 +- 引入加权半范数族控制导数的行为 + +## 与其他微分学的对比 + +| 微分学 | 适用范围 | 特点 | +|--------|---------|------| +| Fréchet | Banach 空间 | 范数依赖 | +| Gateaux | 一般拓扑向量空间 | 方向导数，不连续 | +| Bastiani | 局部凸空间 | 连续方向导数 | +| Convenient | 任意局部凸空间 | Mackey 连续性 | + +## 参考 + +- [[infinite-dimensional-manifolds|无限维流形]] +- [[weighted-spaces|加权空间]] +- [[weighted-uat-manifolds|论文原文]] diff --git a/concepts/bayesian-deep-learning.md b/concepts/bayesian-deep-learning.md new file mode 100644 index 0000000..64f5aa5 --- /dev/null +++ b/concepts/bayesian-deep-learning.md @@ -0,0 +1,39 @@ +--- +title: "贝叶斯深度学习 (Bayesian Deep Learning)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["uncertainty-quantification", "variational-inference"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 贝叶斯深度学习 (Bayesian Deep Learning) + +**贝叶斯深度学习**将贝叶斯推断框架应用于深度神经网络，为权重和预测赋予概率分布而非点估计，从而自然地实现 [[uncertainty-quantification|不确定性量化]]。 + +## 核心思想 + +传统深度学习：学习确定性的权重 w -> 输出点估计 y_hat = f_w(x) + +贝叶斯深度学习：学习权重的后验分布 p(w|D) -> 输出预测分布 p(y|x, D) + +## 变分推断方法 + +由于精确后验不可计算，使用变分推断近似： + +1. **[[variational-autoencoder|变分自编码器]]**（Kingma & Welling, 2014）：通过重参数化技巧优化 ELBO +2. **[[mc-dropout|MC Dropout]]**（Gal & Ghahramani, 2016）：训练时 Dropout ≈ 深度高斯过程中的贝叶斯推断 +3. **Bayes by Backprop**（Blundell et al., 2015）：直接在权重上学习分布 + +## 临床 AI 应用 + +[[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 展示了完整的端到端贝叶斯管线： + +- 模态特定变分编码器 → 潜空间分布 +- [[precision-weighted-fusion|精度加权融合]] → 融合后验 +- 分解不确定性头 → [[epistemic-uncertainty|认知]] + [[aleatoric-uncertainty|随机]] + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[variational-autoencoder|VAE]] +- [[mc-dropout|MC Dropout]] diff --git a/concepts/bayesian-nonparametric-tpp.md b/concepts/bayesian-nonparametric-tpp.md new file mode 100644 index 0000000..ff8d752 --- /dev/null +++ b/concepts/bayesian-nonparametric-tpp.md @@ -0,0 +1,52 @@ +--- +title: "贝叶斯非参数 TPP (Bayesian Nonparametric TPP)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, bayesian, nonparametric, gaussian-process] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# 贝叶斯非参数 TPP + +贝叶斯非参数 TPP 用灵活的先验过程（如高斯过程）替代固定的参数化强度函数，在保持贝叶斯推理严谨性的同时大幅提升模型灵活性。 + +## 核心思想 + +传统参数 TPP 需手工指定强度函数形式（如指数衰减触发核），贝叶斯非参数方法则： +``` +lambda(t) ~ GP(mu(·), K(·,·)) +``` +用一个高斯过程先验赋予强度函数以无限维的灵活度，数据自动调节复杂度。 + +## 两大方向 + +### 非参数泊松过程 + +用 GP 对强度函数 `lambda(t)` 建模： + +- **Log-Gaussian Cox Process (LGCP)**：`lambda(t) = exp(f(t))`, `f ~ GP` +- 代表性工作：Møller et al. (1998), Adams et al. (2009), Lloyd et al. (2015) +- 挑战：Poisson 似然非共轭，需变分推断或 MCMC 近似后验 +- 关键突破：变分 Fourier 特征 (John & Hensman, 2018) 实现可扩展训练 + +### 非参数 Hawkes 过程 + +对触发函数 `phi(·)` 采用非参数先验： + +- 用 GP 或样条对触发核的灵活形式进行贝叶斯推断 +- 代表性工作：Zhang et al. (2019, 2020b), Zhou et al. (2021, 2020) +- 可同时推断触发核的形状和因果结构 + +## 为什么重要 + +相比频率学派非参数方法，贝叶斯方法提供： +1. **不确定性量化**：强度函数的可信区间 +2. **自动正则化**：先验防止过拟合 +3. **模型选择**：边际似然可用于比较不同模型 + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[hawkes-process|Hawkes 过程]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/bellman-taylor-score-decoding.md b/concepts/bellman-taylor-score-decoding.md new file mode 100644 index 0000000..73a8c1b --- /dev/null +++ b/concepts/bellman-taylor-score-decoding.md @@ -0,0 +1,44 @@ +--- +title: "Bellman-Taylor 得分解码 (BTSD)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, mdp, action-interface, operations-research] +sources: [raw/papers/chen-bellman-taylor-score-2026.md] +confidence: high +--- + +# Bellman-Taylor 得分解码 (BTSD) + +BTSD 是 [[bellman-taylor-score-decoding|Chen et al. (2026)]] 提出的框架，通过**Taylor 展开最优 Q 函数**将 MDP 的动作空间从复杂约束空间转换为无约束欧氏得分空间。 + +## 核心机制 + +``` +原始 MDP (s, a ∈ A(s) 受约束) → Taylor 展开 Q* → 得分 MDP (s, z ∈ R^d) +``` + +1. **Taylor 近似**：`Q*(s,a) ≈ ψ_s(a) + γ⟨∇G*_s, φ_s(a)⟩ + const` +2. **动作解码器**：`Γ(s,z) = argmax [ψ_s(a) + ⟨z, φ_s(a)⟩]` +3. **策略学习**：π̃ 输出得分 z ∈ R^d（无约束连续动作） +4. **前向解码**：解码器 Γ(s,z) 将 z 映射为可行动作 a + +## 与优化层的区别 + +| 方法 | 解码器角色 | 梯度需求 | +|------|----------|---------| +| Differentiable Optimization | 可训练层 | 需通过优化器反向传播 | +| BTSD | 固定 action-selection map | 仅前向传播，无需梯度 | + +## 性能保证 + +最优性差距 `J* − J_decode ≤ ε_approx + ε_learn`： +- `ε_approx` 由 Taylor 余项控制 +- `ε_learn` 是标准 DRL 的泛化误差 + +## 参考 + +- [[latent-score-mdp|潜在得分 MDP]] +- [[action-decoder|动作解码器]] +- [[taylor-expansion-q-function|Q 函数 Taylor 展开]] +- [[bellman-taylor-score-decoding|BTSD 论文]] diff --git a/concepts/block-sparse-attention.md b/concepts/block-sparse-attention.md new file mode 100644 index 0000000..46ad831 --- /dev/null +++ b/concepts/block-sparse-attention.md @@ -0,0 +1,62 @@ +--- +title: "Block-Sparse Attention Mask (分块稀疏注意力掩码)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [attention, training-optimization, multi-turn-reasoning] +sources: ["[[goru-one-pass-to-reason-2025]]"] +--- + +# Block-Sparse Attention Mask + +> [[goru-one-pass-to-reason-2025|One-Pass to Reason]] 中设计的自定义注意力掩码，通过为不同 token 类型指定不同的可见性规则，在单次前向传播中同时满足"生成时可见、上下文时隐藏"的冲突需求。 + +## 可见性规则 + +在多轮推理对话中，token 被分为四种角色： + +| Token 类型 | 角色 | 可见范围 | +|-----------|------|---------| +| hi | 人类消息 | A(H_{ ⚠️ 占位符页面 — 待完善 + +灾难性遗忘指神经网络在新任务上训练后，在先前已掌握的任务上性能急剧下降的现象。在 LLM 的持续指令微调中尤为突出。 + +[[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 的交互视角为此提供了新解释：SFT 后阶段的过拟合交互可能覆盖或干扰了已有的可靠推理骨架（[[preserved-interactions-backbone|保留交互]]）。 + +## 相关概念 + +- [[supervised-fine-tuning|SFT]] +- [[preserved-interactions-backbone|保留交互作为推理支柱]] +- [[sft-denoising-stage|SFT 去噪阶段]] diff --git a/concepts/causal-decomposition-pomg.md b/concepts/causal-decomposition-pomg.md new file mode 100644 index 0000000..90f027c --- /dev/null +++ b/concepts/causal-decomposition-pomg.md @@ -0,0 +1,43 @@ +--- +title: "因果分解 (Causal Decomposition in POMG)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["pomg", "structural-causal-model", "decomposition"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# 因果分解 (Causal Decomposition in POMG) + +**因果分解**是 [[minimax-policy-regret-pomg|Arora (2026)]] 中 POMG 分析的核心结构洞察：将 [[observable-operator-model|OOM]] 算子分解为两个独立组件，使世界估计和对手控制可以分离处理。 + +## 分解公式 + +对于 POMG 的 OOM 算子 J_h(o, a)： + +``` +J_h(o, a) = W_h(o, a) · G_h(pi) +``` + +- **W_h(o, a)**（世界通道）：仅依赖世界参数 theta + - 包含转移核 T_h(s, a, b -> s') 和发射核 E_h^A(s -> o) + - 对手的私有观测和动作已被边缘化 + +- **G_h(pi)**（对手聚合）：仅依赖对手参数 Phi + - 编码对手策略如何响应学习者策略 pi + - 在线性对手下为矩阵乘法 + +## 为什么重要 + +1. **模块化分析**：世界估计误差和对手建模误差可以独立 bound +2. **维度可加性**：总 [[eluder-dimension|Eluder 维度]] d_E = d_Theta + d_Psi +3. **算法设计**：MLE 仅需估计 Theta，对手 Lipschitz 性质仅需控制 Phi + +## 直观理解 + +这类似于因果推断中的"解耦"思想——将总体观测动力学分解为"自然界如何运作"（世界通道）和"对手如何反应"（对手聚合）两个因果独立的部分。 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[observable-operator-model|OOM]] +- [[eluder-dimension|Eluder Dimension]] diff --git a/concepts/causal-information-flow.md b/concepts/causal-information-flow.md new file mode 100644 index 0000000..5ae3de3 --- /dev/null +++ b/concepts/causal-information-flow.md @@ -0,0 +1,53 @@ +--- +title: "Causal Information Flow" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [causal-attention, information-flow, sparse, transformer] +sources: [[niu-stem-causal-sparse-attention]] +--- + +# Causal Information Flow + +**因果信息流**（Causal Information Flow）是 [[stem-sparse-attention|Stem]] 论文提出的分析因果注意力机制的**理论视角**。它揭示了标准稀疏注意力方法系统性忽略的递归依赖结构。 + +## 理论基础 + +在因果 Transformer 第 l 层，对 query 位置 i，输出是前序 Value 向量的加权和： + +``` +O_i^(l) = Σ_{j=1}^{i} P_{i,j}^(l) · V_j^(l) +``` + +这揭示了**根本性的 token 不对称性**： + +| Token 位置 | 参与度 | 稀疏化影响 | +|-----------|--------|-----------| +| V₁ (第1个) | 参与所有 N 个输出的计算 | **全局失真** —— 剪枝影响每个后续 token | +| V_N (最后) | 仅参与最终输出 O_N | **局部误差** —— 仅影响尾部 | + +## 跨层递归放大 + +这种不对称性在深层网络中**递归放大**。第 l+1 层的 V 向量来自第 l 层的输出经复合映射 T（FFN + 残差 + W_V）： + +``` +V^(l+1) = T(O^(l)) +``` + +这意味着： +- 在第 l 层剪枝 V₁ → 第 l 层的所有输出畸变 → 第 l+1 层的**所有** V 向量畸变 → 整个信号流被污染 +- 这种误差传播是**递归的**：早期小小的扰动在深层被指数级放大 + +## 与均匀稀疏化的冲突 + +现有的 [[sparse-attention-patterns|稀疏注意力方法]] 对一层内所有位置应用相同的 top-k——这完全无视了因果信息流的结构： +- 初始 token（茎）和尾部 token（叶）被同等对待 +- 茎 token 的剪枝造成全局信号破坏，而节省的算力有限 + +## 设计启示 + +因果信息流视角指导了 [[token-position-decay|TPD 策略]]的设计： +- 茎 token → 高保留率（保护递归依赖链） +- 叶 token → 激进稀疏化（这些 token 的剪枝影响局部） + +这不是启发式的——是从因果注意力机制的数学结构中推导出的结构约束。 diff --git a/concepts/chain-of-thought.md b/concepts/chain-of-thought.md index d746f7f..653d40f 100644 --- a/concepts/chain-of-thought.md +++ b/concepts/chain-of-thought.md @@ -31,8 +31,13 @@ Chain-of-Thought (CoT) 是让模型在给出最终答案前，先生成一系列 通过直接输出归一化坐标，视觉原语使 CoT 的每一步推理都有对应的、可验证的空间锚点。 +## 推荐系统中的 CoT + +[[recommendation-cot|推荐 CoT]] 将思维链范式引入 [[generative-recommendation|生成式推荐]] 领域，面临独特的挑战：item token 本身不携带语言语义，且推荐是 [[abductive-reasoning-recommendation|溯因推理]]（从行为反推隐含兴趣）而非演绎推理。[[onereason|OneReason]] 提出三层 CoT 结构（Derivation → Evolution → Recommendation）来解决这一问题。 + ## 相关概念 - [[visual-primitives|视觉原语]] — CoT 的视觉扩展 - [[reference-gap|引用鸿沟]] — 纯语言 CoT 的根本局限 -- [[system-2-thinking|System-2 思维]] — CoT 的理论基础 \ No newline at end of file +- [[system-2-thinking|System-2 思维]] — CoT 的理论基础 +- [[recommendation-cot|推荐 CoT]] — CoT 在推荐系统中的特化 \ No newline at end of file diff --git a/concepts/claw-swe-bench-lite.md b/concepts/claw-swe-bench-lite.md new file mode 100644 index 0000000..dd362bb --- /dev/null +++ b/concepts/claw-swe-bench-lite.md @@ -0,0 +1,54 @@ +--- +title: "Claw-SWE-Bench Lite" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [benchmark, evaluation, coding-agent] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# Claw-SWE-Bench Lite + +## 定义 + +Claw-SWE-Bench Lite 是完整 350-instance benchmark 的 **80-instance 低代价子集**，设计为开发迭代的快速反馈环——adapter 调试、prompt 修改、模型替换、回归测试——在返回 full-350 进行最终报告之前。 + +## 设计原则 + +Lite 不是简单的随机采样或便利展示样本。它是**通过代价感知、排序感知的优化过程，拟合 full-350 的行为**选取的。 + +## 构成 + +- 每语言 10 个实例 × 8 语言 = 80 个实例 +- 70 个非 Python（来自 SWE-bench-Multilingual）+ 10 个 Python（来自 SWE-bench-Verified-Mini） +- 语言内固定难度四分位配额：Q1/Q2/Q3/Q4 = 2/3/3/2 +- 覆盖 full-350 43 个仓库中的 34 个（79%） + +## 选择方法 + +基于 17 列校准数据（9 个 OpenClaw 模型列 + 8 个跨 claw 列），优化三项指标： + +1. **Resolve-Rate Parity:** 最小化 Lite 估计率与 full-350 真实率之间的 L1 差异 +2. **Pairwise Ranking Hinge:** 惩罚 Lite 反转 full-350 的排序 +3. **Cost Parity:** 最小化 log-cost 差异，防止选取异常便宜或昂贵的实例 + +使用 per-language 200-restart within-quartile 1-swap 局部搜索。 + +## 验证结果 + +- Full-350 平均 Pass@1: 0.639 / Lite-80: 0.643（差异 +0.4 pp） +- 跨 claw 验证 (5 claws × 2 models)：平均绝对差异 1.88 pp，最大 3.68 pp +- Lite 运行代价约为 full 的 **22.9%**（按 token/cost/time 均在 22-24%） + +## K-sweep 敏感性 + +Lite 的 80-instance 规模来自显式的 K-sweep 而非方便数字： +- K=8: 2 个场景通过 +- K=9: 3 个场景需要 +- K=10: 4 个结构扰动场景需要 +- 发布保守稳定点 K=10 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[cost-aware-benchmarking|代价感知基准评测]] +- [[pareto-frontier-evaluation|Pareto 前沿评测]] diff --git a/concepts/clean-conditioning-mask.md b/concepts/clean-conditioning-mask.md new file mode 100644 index 0000000..1950a83 --- /dev/null +++ b/concepts/clean-conditioning-mask.md @@ -0,0 +1,40 @@ +--- +title: "清洁条件掩码 (Clean-Conditioning Mask)" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, video-generation, diffusion-model, architecture] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# 清洁条件掩码 (Clean-Conditioning Mask) + +Flex4DHuman 中用于区分参考视图 token 与目标视图 token 的二元掩码机制，是模型理解"哪些是已知、哪些需要生成"的核心设计。 + +## 输入布局 + +每个 token 采用 36 通道特征布局： + +| 通道 | 尺寸 | 参考视图 | 目标视图 | +|------|------|---------|---------| +| Noisy latent | 16 ch | 噪声 latent | 噪声 latent | +| Clean latent | 16 ch | 编码的参考 latent | **全零** | +| 条件掩码 | 4 ch | **全一** | **全零** | + +## 工作原理 + +- **训练时**：参考视图 token 的清洁潜在和掩码使它们成为"已知条件"——模型学习在去噪目标视图 token 时利用这些条件，同时保留参考视图不变 +- **推理时**：相同的机制被复用于 [[temporal-rollout|时间滚动展开]]——前一个 chunk 的预测帧作为下一个 chunk 的「清洁历史 token」 +- **信息流**：单次注意力操作中，信息在时间和视角维度上双向传播 + +## 从 Wan 2.1 的适配 + +原始 Wan 2.1 T2V 期望 16 通道输入。Flex4DHuman 通过以下方式扩展到 36 通道： +- 复制预训练权重到原始 16 通道位置 +- 新增 20 通道参数用零初始化 + +## 参考 + +- [[flex4dhuman|Flex4DHuman]] — 提出该设计的模型 +- [[temporal-rollout|时间滚动展开]] — 推理时重用清洁历史 +- [[teacher-forced-history|教师强制历史]] — 训练时的清洁历史策略 diff --git a/concepts/clinical-ai.md b/concepts/clinical-ai.md new file mode 100644 index 0000000..ce481ed --- /dev/null +++ b/concepts/clinical-ai.md @@ -0,0 +1,42 @@ +--- +title: "临床人工智能 (Clinical AI)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["healthcare", "machine-learning", "medical-ai"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 临床人工智能 (Clinical AI) + +**临床人工智能**是将机器学习系统部署于医疗环境中的交叉领域，涵盖诊断影像、风险分层、治疗规划和患者分诊等应用。 + +## 核心挑战 + +1. **确定性输出的局限**：绝大多数临床 AI 系统输出点估计（如"73% 风险概率"），不提供置信度，无法区分高置信场景与分布外输入 + +2. **校准问题**：现代深度神经网络普遍校准不良（见 [[expected-calibration-error|ECE]]） + +3. **公平性盲点**：标准准确率指标无法检测系统性偏见 + +## 不确定性在临床 AI 中的双重角色 + +[[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 提出： + +| 传统观点 | 新观点 | +|---------|-------| +| 不确定性 = 模型局限 | 不确定性 = **公平性资源** | +| 目标：最小化不确定性 | 目标：度量、报告、根据不确定性采取行动 | + +高 [[epistemic-uncertainty|认知不确定性]] → 模型"知道自己不知道" → 触发人工升级 → 系统性保护弱势患者 + +## 关键技术栈 +- [[bayesian-deep-learning|贝叶斯深度学习]] — 概率建模 +- [[uncertainty-quantification|不确定性量化]] — UQ 方法 +- [[precision-weighted-fusion|多模态融合]] — 处理异构临床数据 +- [[algorithmic-equity|算法公平性]] — 公平性审计 + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[algorithmic-equity|算法公平性]] +- [[uncertainty-quantification|不确定性量化]] diff --git a/concepts/coconut.md b/concepts/coconut.md new file mode 100644 index 0000000..a44893f --- /dev/null +++ b/concepts/coconut.md @@ -0,0 +1,42 @@ +--- +title: "COCONUT: 连续潜空间推理" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reasoning, latent-reasoning, architecture, training] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# COCONUT: 连续潜空间推理 + +COCONUT（Hao et al., 2024）是**将 LLM 推理过程转移到连续潜空间的先驱工作**。 + +## 核心思想 + +传统的 [[chain-of-thought|思维链]] 在每一步都必须生成离散 token，但 Transformer 内部维护着高维隐藏状态——COCONUT 认为这种"隐藏 → token"的坍缩造成了信息损失。 + +## 方法 + +1. **直接馈入隐藏状态**：将 Transformer 最后一层的隐藏状态作为"thought token"直接输入到后续步骤 +2. **并行路径探索**：连续空间允许在推理过程中保留多条可能路径的信息 +3. **训练方式**：通过专门的训练目标使模型学会在潜空间中进行推理 + +## 与 TARPO 的关系 + +COCONUT 是**纯潜在推理**的代表，所有推理步骤都在连续空间中进行： +- COCONUT 证明了潜空间推理的可行性 +- 但其天然确定性限制了 RL 中的策略探索 +- [[tarpo|TARPO]] 在 COCONUT 的基础上引入自适应混合路由，在需要随机性时使用离散 token，在需要表达力时使用潜空间 + +## 限制 + +- 原始隐藏状态可能导致**表征流形不匹配**（与 token embedding 空间不一致） +- 缺乏 NLP 任务中自然出现的离散 token 级别的随机性 +- 后续工作（如 [[hrpo|HRPO]]）改用 embedding 混合而非原始隐藏状态 + +## 参考 + +- [[latent-reasoning|潜在推理]] +- [[tarpo|TARPO]] +- [[continuous-representation|连续表征]] diff --git a/concepts/concept-lattice.md b/concepts/concept-lattice.md new file mode 100644 index 0000000..eb4e531 --- /dev/null +++ b/concepts/concept-lattice.md @@ -0,0 +1,55 @@ +--- +title: "概念格 (Concept Lattice)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, lattice-theory, interpretability, formal-concept-analysis] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 概念格 (Concept Lattice) + +概念格是 [[formal-concept-analysis|形式概念分析（FCA）]] 的核心结构——所有形式概念按集合包含关系组织的**完备格（complete lattice）**。 + +## 结构 + +给定形式上下文 (C, N, R)： + +- 每个节点 = 一个形式概念 `(A, B)`，满足 `A' = B` 且 `B' = A` +- A ⊆ C 是外延（extent）：该概念覆盖的人类概念 +- B ⊆ N 是意图（intent）：该概念涉及的 SAE 神经元 + +## 层级 + +``` +从顶到底： + 最一般概念 ← → 最具体概念 + (大外延/小意图) (小外延/大意图) + + Top: (C, ∅) → 所有概念的并集 + Bottom: (∅, N) → 所有神经元的交集 +``` + +[[geometric-sae-concepts|Zhang et al. (2026)]] 图 2 展示了一个实例：Math → Algebra / Topology，Animal → Predator / Plant，形成从抽象到具体的完整层级。 + +## 在 SAE 解释中的作用 + +概念格提供了**系统化组织多对多神经元-概念关系**的方式： + +- 沿格向上 = 概念合并（merge）、神经元意图粗化 +- 沿格向下 = 概念分裂（split）、神经元意图细化 +- 避免了"选择最佳单一匹配"的信息损失 + +## 概念学习 ≠ 解释的数学表征 + +格结构揭示： +- 概念学习（C → N）和神经元解释（N → C）是格中的**对偶运算** +- 两者通过 Galois 连接关联，但**不必一致** +- 格的层级体现了 AI 学到的语义本体论 + +## 参考 + +- [[formal-concept-analysis|FCA]] +- [[polysemanticity|多义性]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/concept-learning.md b/concepts/concept-learning.md new file mode 100644 index 0000000..9a18276 --- /dev/null +++ b/concepts/concept-learning.md @@ -0,0 +1,67 @@ +--- +title: "概念学习：几何视角 (Concept Learning: Geometric View)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [interpretability, geometry, theory, set-theory] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 概念学习：几何视角 (Concept Learning: Geometric View) + +[[geometric-sae-concepts|Zhang et al. (2026)]] 将概念学习形式化为**集合对齐问题**，并区分三个强度递增的学习层次。 + +## 基本设定 + +- 人类概念 `C ∈ C`：可测集合（数据点） +- 模型概念 `θ_M`：神经元集合 M 的联合激活区域 +- 目标：使 θ 与 C 对齐 + +## 三个层次 + +### 1. 概念检测（Concept Detection）— 最弱 + +``` +µ(C \ θ) = 0 +``` + +θ 覆盖 C 即可。允许多对多映射，一个概念可被多个 θ 覆盖，一个 θ 可覆盖多个概念。 + +### 2. 概念分离（Concept Separation）— 中等 + +``` +x ∈ H_i^+ ∀ x ∈ C, i ∈ M +x' ∈ H_j^- ∀ x' ∈ X\C, j ∈ [d]\M +``` + +θ 在**数据支持**上独占 C。关键定理： + +- **单神经元**：可行 ↔ `Conv(C) ∩ Conv(N) = ∅` +- **多神经元单元**：可行 ↔ `Conv(C) ∩ N = ∅` +- 最少需要 |C| 个神经元来分离所有概念 + +### 3. 概念近似（Concept Approximation）— 最强 + +概念分离的"环境空间版本"——θ 必须在全部 `R^d` 空间上紧致包围 C： + +- 可行 ↔ C 是凸集（up to ν-null set） +- 非凸概念有不可约误差 `e_irr = ν(Conv(C)\C)` +- 误差率：`e_app ≲ e_irr + A|M|^{-2/(r-1)}` +- 支持**新概念发现**（可拒绝未知数据） + +## 核心洞察 + +三个层次对应三种使用场景： + +| 层次 | 应用 | 关键需求 | +|------|------|---------| +| 检测 | 覆盖已知概念 | 最少神经元 | +| 分离 | 分类/区分概念 | 数据支持上零假阳 | +| 近似 | 新概念发现 | 环境空间上紧致包围 | + +## 参考 + +- [[sparse-autoencoder|SAE]] +- [[formal-concept-analysis|FCA]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/conditional-intensity-function.md b/concepts/conditional-intensity-function.md new file mode 100644 index 0000000..878d72b --- /dev/null +++ b/concepts/conditional-intensity-function.md @@ -0,0 +1,58 @@ +--- +title: "条件强度函数 (Conditional Intensity Function)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, intensity-function, stochastic-modeling] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# 条件强度函数 (Conditional Intensity Function) + +条件强度函数是时间点过程（TPP）的核心数学工具，描述了给定历史信息下，未来事件发生的瞬时速率。 + +## 定义 + +``` +lambda*(t) dt = P(event in [t, t+dt] | H_{t-}) + = E[N([t, t+dt]) | H_{t-}] +``` + +其中 `H_{t-}` 表示到时刻 t 之前（不含 t）的历史。`*` 号表示该强度以历史为条件，这是 TPP 领域的传统标记。 + +## 与条件密度的一一对应 + +强度函数和条件密度函数是一一对应的： + +``` +f(t | H_{t_n}) = lambda*(t) exp(-∫_{t_n}^t lambda*(tau) dtau) +``` + +这意味着可以通过直接指定强度函数的形式来定义新的 TPP 模型。 + +## 经典实例 + +- **常数强度** `lambda*(t) = mu` → 齐次泊松过程 +- **时变强度** `lambda*(t) = lambda(t)` → 非齐次泊松过程 +- **Hawkes 形式** `lambda*(t) = mu + sum phi(t - t_n)` → 自激励过程 + +## 在神经 TPP 中的角色 + +几乎所有神经 TPP 都围绕如何从历史中学习然后参数化强度函数展开。RNN/Transformer 编码历史为隐向量 `h_t`，然后输出为强度： + +``` +lambda*(t) = g(h_t, t) +``` + +其中 `g` 需要保证非负输出（ReLU/softplus/exp）。 + +## 数值积分问题 + +MLE 训练时需要计算 `∫ lambda*(tau) dtau`，这通常没有闭式解，需要 Monte Carlo 或数值积分近似——这是 intensity-based 方法的计算瓶颈，驱动了 [[intensity-free-modeling|intensity-free]] 方向的发展。 + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[hawkes-process|Hawkes 过程]] +- [[intensity-free-modeling|Intensity-free 建模]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/content-grounded-retrieval.md b/concepts/content-grounded-retrieval.md new file mode 100644 index 0000000..989f772 --- /dev/null +++ b/concepts/content-grounded-retrieval.md @@ -0,0 +1,44 @@ +--- +title: "Content-Grounded Retrieval — Faithfulness as First Principle" +type: concept +created: 2026-06-04 +tags: [information-retrieval, faithfulness, hallucination-mitigation, grounding] +sources: ["ma-intragent-2026"] +--- + +# Content-Grounded Retrieval（内容锚定检索） + +**定义**：一种信息检索范式，要求所有回答严格锚定于提供的文献内容，当信息不存在时明确承认而非编造。 + +## 核心原则 + +1. **忠实性优先**：准确性建立在内容忠实之上——错误的精确数字比诚实的"不知道"更有害 +2. **显式边界**：当问题超出文献覆盖范围时，系统必须明确终止而非猜测 +3. **可溯源**：每个提取的信息点应能追溯到原文献的具体位置 + +## 在 IntraView 中的体现 + +[[intraview|IntraView]] 任务将内容锚定作为硬约束，与现有任务的差异： + +| 任务 | 信息源 | 内容锚定？ | +|------|--------|-----------| +| 开放域 QA | 外部知识 | 否（可引入 LLM 知识） | +| RAG QA | 检索片段+模型知识 | 部分（LLM 仍可补充） | +| **IntraView** | **仅提供文献** | **是（严格硬约束）** | + +## 实现机制 + +[[intragent|IntrAgent]] 通过组合设计实现内容锚定： +- [[sufficiency-check|充分性检查]]：确保信息确实来自文献而非推测 +- 细节锚定：每个细节关联到原文献的具体句子 +- 缺失处理：通过"以上皆非"选项处理不可回答的查询 + +## 更广的意义 + +内容锚定检索不仅是 IntraView 的需求——它是可信 AI 系统的底层要求。在医疗、法律、科研决策场景中，"我不知道但文献说 X" 远比 "我认为是 Y" 更有价值。 + +## 相关概念 + +- [[hallucination-mitigation]] — 更广泛的幻觉控制 +- [[faithfulness-in-ai]] — AI 忠实性 +- [[intraview|IntraView]] — 内容锚定的具体任务实例 diff --git a/concepts/content-question-answering.md b/concepts/content-question-answering.md new file mode 100644 index 0000000..fc5ff44 --- /dev/null +++ b/concepts/content-question-answering.md @@ -0,0 +1,17 @@ +--- +title: "Content Question Answering (CQA)" +type: concept +created: 2026-06-04 +tags: [question-answering, nlp, reading-comprehension] +--- + +# Content Question Answering (CQA) + +**定义**：给定一段文本内容和一个问题，从内容中提取或推理出答案的任务。 + +CQA 是 [[intraview|IntraView]] 所属的任务范式。与开放域 QA 不同，CQA 严格限定于提供的内容，不允许引入外部知识。 + +## 相关概念 + +- [[intraview|IntraView]] — CQA 在科学文献领域的严格特化 +- [[content-grounded-retrieval]] — CQA 的忠实性要求 diff --git a/concepts/continual-learning.md b/concepts/continual-learning.md new file mode 100644 index 0000000..089881b --- /dev/null +++ b/concepts/continual-learning.md @@ -0,0 +1,23 @@ +--- +title: "持续学习 (Continual Learning)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [continual-learning, lifelong-learning, forgetting] +status: placeholder +--- + +# 持续学习 (Continual Learning) + +> ⚠️ 占位符页面 — 待完善 + +持续学习（又名终身学习，Lifelong Learning）是指模型在连续数据流上逐步学习新知识而不遗忘旧知识的能力。核心挑战是 [[catastrophic-forgetting|灾难性遗忘]]。 + +在 LLM 的后训练语境中，持续指令微调可能导致已有知识和推理能力的退化。 + +## 相关概念 + +- [[catastrophic-forgetting|灾难性遗忘]] +- [[data-replay|数据回放]] +- [[evolving-knowledge-injection|进化知识注入]] +- [[knowledge-retention|知识保留]] diff --git a/concepts/continuation-value-function.md b/concepts/continuation-value-function.md new file mode 100644 index 0000000..9a9cdd5 --- /dev/null +++ b/concepts/continuation-value-function.md @@ -0,0 +1,50 @@ +--- +title: "延续价值函数 (Continuation Value Function)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, mdp, theory, value-function] +sources: [raw/papers/chen-bellman-taylor-score-2026.md] +confidence: high +--- + +# 延续价值函数 (Continuation Value Function) + +延续价值函数 `G*_s(x)` 是 [[bellman-taylor-score-decoding|BTSD]] 框架 Taylor 展开的核心对象——它衡量系统在**后动作配置 x** 下的期望下游回报。 + +## 定义 + +``` +G*_s(x) = E_ξ[ V*( Ξ_s(x, ξ_s) ) ] +``` + +其中 `x = φ_s(a)` 是后动作配置，`ξ_s` 是外生扰动，`V*` 是最优值函数。 + +## 在 Q 函数中的作用 + +Q 函数的分解： + +``` +Q*(s,a) = ψ_s(a) + γ G*_s(φ_s(a)) + ^^^^^^^^ ^^^^^^^^^^^^^^^^ + 即时奖励 延续价值 +``` + +延续价值捕获了动作 a 在未来产生的影响——BTSD 框架的核心就是**用 Taylor 展开近似 G*_s**。 + +## 性质 + +- G*_s 的**光滑度**决定了 Taylor 近似的精确度 +- 在排队系统中，G*_s 通常接近线性 → 一阶 Taylor 几近精确 +- 非线性程度越高，需要保留的高阶项越多 +- 最优策略的得分 `z* = γ ∇G*_s(x_ref)`：**边际延续价值** + +## 与策略梯度的区别 + +标准策略梯度直接优化 V^π → 需要探索复杂的动作空间。BTSD 通过近似 G*_s 将动作选择简化为得分驱动的优化问题。 + +## 参考 + +- [[taylor-expansion-q-function|Q 函数 Taylor 展开]] +- [[post-action-configuration|后动作配置]] +- [[bellman-taylor-score-decoding|BTSD]] diff --git a/concepts/continuous-representation.md b/concepts/continuous-representation.md new file mode 100644 index 0000000..8dc24e0 --- /dev/null +++ b/concepts/continuous-representation.md @@ -0,0 +1,47 @@ +--- +title: "连续表征 (Continuous Representation)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [architecture, representation-learning, latent-reasoning] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# 连续表征 (Continuous Representation) + +连续表征是 [[latent-reasoning|潜在推理]] 的数学基础——在 LLM 推理中使用高维连续向量而非离散 token 来表示推理状态。 + +## 形式 + +在 Transformer 架构中，连续的隐藏状态 `h_t ∈ R^d` 天然存在于每一层的输出中。标准 [[chain-of-thought|CoT]] 将这些 d 维连续向量坍缩为 1 个离散 token，而潜在推理直接操作这些连续表征。 + +## 两种构造方式 + +### 原始隐藏状态 +`u_continuous = h_t`（Transformer 最后一层输出） + +- 代表：[[coconut|COCONUT]] +- 问题：表征流形不匹配（隐藏状态 ≠ token embedding 空间） + +### Token Embedding 混合 +`u_continuous = sum w_i * E(v_i)`（top-k embedding 加权混合） + +- 代表：[[tarpo|TARPO]]、[[hrpo|HRPO]] +- 优势：与 token embedding 空间一致，缓解流形不匹配 + +## 确定性问题 + +连续表征是**确定性的**（给定相同输入，输出相同向量），这与离散 token 采样形成根本对立： + +- 离散 token 采样：`v ~ Categorical(logits)` → 随机 +- 连续表征：`u = f(h)` → 确定性 + +这种确定性限制了 RL 策略探索，催生了 [[reparameterization-exploration|重参数化探索]] 和 [[hybrid-reasoning|混合推理]] 两条解决路线。 + +## 参考 + +- [[latent-reasoning|潜在推理]] +- [[soft-token]] +- [[hard-token]] +- [[hybrid-reasoning|混合推理]] diff --git a/concepts/continuous-time-rl.md b/concepts/continuous-time-rl.md new file mode 100644 index 0000000..e10992c --- /dev/null +++ b/concepts/continuous-time-rl.md @@ -0,0 +1,53 @@ +--- +title: "连续时间强化学习 (Continuous-Time RL)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, theory, continuous-control, stochastic-processes] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 连续时间强化学习 (Continuous-Time RL) + +连续时间 RL 将强化学习建模为**连续时间随机过程**，与传统的离散时间步（ticks）范式相对——正如标题 "From Ticks to Flows" 所暗示的。 + +## 动机 + +标准 RL 在离散时间步上操作：agent 观察状态、采取动作、接收奖励、转移到下一状态。连续时间 RL 将这一切建模为在**连续时间域 `t ∈ [0, T)`** 上展开的随机过程。这之所以有用，是因为： + +1. **数学工具丰富**：可以使用 [[stochastic-differential-equation|SDE]] 理论和 [[ito-calculus|Itô 微积分]] 进行精确分析 +2. **自然建模**：许多物理系统本身是连续时间的 +3. **理论桥梁**：将 RL 与随机控制和最优控制理论连接 + +## 控制仿射 MDP + +[[ticks-to-flows|Tiwari et al. (2026)]] 在[[control-affine-mdp|控制仿射 MDP]] 中定义连续时间 RL： + +``` +ds_t = (g(s_t) + h(s_t) a_t) dt + σ(s_t) dw_t +``` + +- `g(s)`：自治动力学（drift 函数） +- `h(s)`：动作对状态的线性影响 +- `σ(s)`：环境噪声（[[wiener-process|Wiener 过程]]驱动） + +## 值函数 + +连续时间下的值函数为积分形式： + +``` +v^π(s, t) = E[∫_t^T e^{-β(l-t)} r(s_l^π) dl | s_t = s] +``` + +## 与前一个 TARPO 论文的关联 + +[[tarpo|TARPO]] 使用离散时间 RL（GRPO），Tiwari et al. 的连续时间公式化提供了一个互补的理论视角——两者都致力于理解 RL 的学习动态，但一个从算法层面，一个从随机过程理论层面。 + +## 参考 + +- [[stochastic-differential-equation|SDE]] +- [[two-time-scale-process|双时间尺度过程]] +- [[wiener-process|维纳过程]] +- [[ticks-to-flows|Ticks to Flows]] +- [[reinforcement-learning|强化学习]] diff --git a/concepts/control-affine-mdp.md b/concepts/control-affine-mdp.md new file mode 100644 index 0000000..d26e244 --- /dev/null +++ b/concepts/control-affine-mdp.md @@ -0,0 +1,57 @@ +--- +title: "控制仿射 MDP (Control-Affine MDP)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, control-theory, theory] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 控制仿射 MDP (Control-Affine MDP) + +控制仿射 MDP 是 [[ticks-to-flows|Ticks-to-Flows]] 定义的**连续时间、连续状态-动作空间的 MDP**——其中动作对动力学的影响是**线性（仿射）**的，但环境和奖励可以是高度非线性的。 + +## 形式化定义 + +M = (S, A, ⟨g, h, σ⟩, r, s₀, β)，其中： + +``` +ds_t = (g(s_t) + h(s_t) a_t) dt + σ(s_t) dW_t +``` + +- `g: R^{ds} → R^{ds}`：自治动力学（不受控的 drift） +- `h: R^{ds} → R^{ds×da}`：**控制仿射项**（动作线性进入动力学） +- `σ: R^{ds} → R^{ds×ds}`：环境噪声（与动作无关） +- `r: R^{ds} → R`：光滑奖励函数 +- β ∈ (0,1)：折扣因子 + +## "控制仿射"的含义 + +动力学中动作 `a_t` 以**线性**方式出现（通过 `h(s_t)a_t`），但 `g`, `h`, `σ`, `r` 都可以是**非线性光滑函数**。这种结构： + +- 比一般非线性控制更容易分析 +- 涵盖了绝大多数物理控制问题 +- 使得探索动力学分析更易处理 + +## 假设条件 + +- **光滑性**：g, h, σ, r 无限可微 +- **Lipschitz 连续性**：保证 SDE 解的存在唯一性 +- **策略可允许性**：策略需光滑 + Lipschitz（保证封闭系统 SDE 的适定性） + +## 与离散 MDP 的对比 + +| 维度 | 标准 MDP | 控制仿射 MDP | +|------|---------|-------------| +| 时间 | 离散 t=0,1,2... | 连续 t∈[0,T) | +| 转移 | P(s'|s,a) | SDE ds/dt | +| 奖励 | r(s,a) | r(s) (状态依赖) | +| 控制结构 | 任意 | 仿射 (g + h·a) | + +## 参考 + +- [[continuous-time-rl|连续时间 RL]] +- [[stochastic-differential-equation|SDE]] +- [[linear-quadratic-regulator|LQR]] +- [[ticks-to-flows|Ticks to Flows]] diff --git a/concepts/controlled-text-generation.md b/concepts/controlled-text-generation.md new file mode 100644 index 0000000..fb1f32d --- /dev/null +++ b/concepts/controlled-text-generation.md @@ -0,0 +1,30 @@ +--- +title: "Controlled Text Generation" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, llm, controllability] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Controlled Text Generation（受控文本生成） + +> 占位符页面 — 待扩展 + +## 概述 + +受控文本生成指在 LLM 推理时约束生成过程以强制或偏向特定属性（如情感极性、安全合规、个性倾向）。 + +## 核心问题 + +- 控制强度 vs 生成质量折衷（[[preference-utility-analysis]]） +- 评估困难：输出级度量可能混淆概念信号 +- 方法碎片化：不同干预形式缺乏统一比较 + +## 相关概念 + +- [[model-steering]] +- [[activation-steering]] +- [[preference-utility-analysis]] +- [[split-steering]] +- [[xu-why-steering-works]] diff --git a/concepts/cost-aware-benchmarking.md b/concepts/cost-aware-benchmarking.md new file mode 100644 index 0000000..01fd74e --- /dev/null +++ b/concepts/cost-aware-benchmarking.md @@ -0,0 +1,51 @@ +--- +title: "代价感知基准评测 (Cost-Aware Benchmarking)" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [benchmark, evaluation, cost] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# 代价感知基准评测 (Cost-Aware Benchmarking) + +## 定义 + +Cost-Aware Benchmarking 是将端到端运行代价（API 费用、token 用量、wall-clock 时间、缓存命中率）作为**与准确率并列的第一等评测轴**的基准评测方法论。Claw-SWE-Bench 将其内建于 benchmark 设计，而非作为附属日志。 + +## 为什么需要 + +传统的 SWE-bench 风格评测仅报告 Resolved Rate / Pass@1。这导致： +- 奖励更长探索和更高预算的系统 +- 更便宜但更脆弱的系统被误解 +- 无法判断准确率差异是否值得代价差异 + +**准确率和代价不同步移动。** 真实编程 agent 不是单次模型调用——它反复读文件、编辑代码、运行命令、等待远程模型响应。 + +## 报告的代价指标 + +| 指标 | 含义 | +|------|------| +| Total Cost (USD) | 完整运行的 API 总费用 | +| Mean Wall-Clock Duration | 平均墙钟时间（含远程 API 延迟） | +| Input/Output Tokens | 输入/输出 token 用量 | +| Cache Hit Rate | 缓存命中率（影响实际 API 费用） | + +## 实验证据：代价差异 + +在 OpenClaw × 9 模型扫掠中： +- GPT 5.5: 78.0% Pass@1, **$1,399** +- Claude Opus 4.7: 77.1%, **$1,082** +- DeepSeek-V4 Pro: 71.7%, **$81** +- DeepSeek-V4 Flash: 70.3%, **$8.2** + +相似准确率的代价可能相差 **170 倍**（GPT 5.5 vs DeepSeek-V4 Flash）。 + +## 缓存命中率 ≠ 能力指标 + +缓存命中率影响代价但不应视为能力指标——它取决于 provider 缓存策略、adapter 调用路径和上下文重用策略。应作为代价会计的诊断字段报告。 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[pareto-frontier-evaluation|Pareto 前沿评测]] +- [[claw-swe-bench-lite|Claw-SWE-Bench Lite]] diff --git a/concepts/countable-uncountable-infinity.md b/concepts/countable-uncountable-infinity.md new file mode 100644 index 0000000..d53056e --- /dev/null +++ b/concepts/countable-uncountable-infinity.md @@ -0,0 +1,55 @@ +--- +title: "可数与不可数无穷" +created: 2026-06-07 +updated: 2026-06-07 +type: concept +tags: [集合论, 无穷, 数学基础] +--- + +# 可数与不可数无穷 + +[[infinity-hierarchy|无穷层级体系]] 中最基本的一对概念：可数无穷（countable infinity）与不可数无穷（uncountable infinity）。二者的区分是集合论的核心起点。 + +## 可数无穷 + +一个集合是**可数的**（countable），当且仅当其元素可以与自然数集 $\mathbb{N}$ 建立一一对应。 + +### 可数集的例子 + +- 自然数 $\mathbb{N}$ +- 整数 $\mathbb{Z}$ +- 有理数 $\mathbb{Q}$ +- [[algebraic-numbers-countability|代数数]] — 狄德金1873年证明 + +### 关键直觉 + +可数无穷意味着你可以**逐一列举**集合中的所有元素（尽管需要无穷多时间）。存在一种明确的枚举顺序，确保没有元素被遗漏。 + +## 不可数无穷 + +一个集合是**不可数的**（uncountable），当且仅当其元素"多于"自然数，无法与 $\mathbb{N}$ 建立一一对应。 + +### 不可数集的例子 + +- 实数 $\mathbb{R}$ — 康托尔1874年证明 +- 无理数 +- 任意区间 $[0, 1]$ 中的实数 + +### 关键直觉 + +无论你如何试图枚举实数，总有一些实数被遗漏。康托尔的对角线论证（Cantor's diagonal argument）是这一结论的经典证明。 + +## 数学意义 + +这两个概念的区分彻底改变了数学： + +- 在此之前，"无穷"是一个模糊的、令人回避的概念 +- 康托尔和狄德金证明：无穷有结构，可以严格比较大小 +- 这为 [[set-theory-history|集合论]] 的建立铺平了道路 + +## 相关条目 + +- [[infinity-hierarchy|无穷层级体系]] +- [[algebraic-numbers-countability|代数数的可数性]] +- [[set-theory-history|集合论史]] +- [[georg-cantor|格奥尔格·康托尔]] diff --git a/concepts/critpt.md b/concepts/critpt.md new file mode 100644 index 0000000..653f962 --- /dev/null +++ b/concepts/critpt.md @@ -0,0 +1,51 @@ +--- +title: "CritPt (Critical Point Benchmark)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [benchmark, physics, reasoning, frontier] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# CritPt (Critical Point Benchmark) + +前沿物理学研究基准，由 Zhu et al. (2025) 构建，用于探测 AI 推理的"临界点"。Wang et al. (2026) 将其用作基因进化系统的外部验证基准。 + +## 在 Skills to Strategy Genes 中的作用 + +CritPt 被用作 [[evolution-probe|进化探针]] 的外部验证：gene-evolved 系统是否能在**不同于训练分布的挑战性基准**上展现出实质性改进？ + +## 关键结果 + +两个基于 Gene 的进化系统在两个版本的 Evolver 上运行： + +| 系统 | 基础模型 | 进化后 | 提升 | +|------|---------|--------|------| +| Evolver 2026-02-16 | Gemini 3 Pro Preview | 18.57% (from 9.1%) | +9.47pp | +| Evolver 2026-03-26 | Gemini 3.1 Pro Preview | 27.14% (from 17.7%) | +9.44pp | + +### 上下文对比 + +- GPT-5.4 Pro (xhigh): 30.0% +- GPT-5.4 (xhigh): 27.14% +- Evolver 2026-03-26: 27.14% +- Gemini 3Deep Think: 25.7% +- Claude Opus 4.6 (max): 12.6% +- Claude Sonnet 4.5 (max): 3.1% + +基因进化的系统达到了与 GPT-5.4 (xhigh) 并列的水平，显著超越基础模型。 + +## 进化轨迹 + +### 版本 A (2026-02-16): 记忆根植的进化 +主要增益来自将先前失败、执行轨迹和修正经验巩固为可复用控制单元。代表性基因：`gene_gep_repair_from_errors`（触发于 error/exception/failed 信号的结构化修复循环）。 + +### 版本 B (2026-03-26): 探索增强的进化 +210 个 gene slot，36 个唯一 gene ID。以 arXiv 衍生基因 (148 次选择) 为主。最具代表性的是 `gene_topic_hamiltonian_inverse_design`（25 次选择）：将紧凑的任务导向解决过程保留为可复用资产。 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 使用 CritPt 验证进化 +- [[evolution-probe|进化探针]] — CritPt 实验所属探针 +- [[strategy-gene|策略基因]] — 进化单元 +- [CritPt 原论文](https://arxiv.org/abs/2509.26574) diff --git a/concepts/cross-model-harness-transfer.md b/concepts/cross-model-harness-transfer.md new file mode 100644 index 0000000..1f9795f --- /dev/null +++ b/concepts/cross-model-harness-transfer.md @@ -0,0 +1,46 @@ +--- +title: "Cross-Model Harness Transfer（跨模型 Harness 迁移）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, harness, transfer, generalization] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +confidence: high +--- + +# Cross-Model Harness Transfer + +> 在一个模型上进化出的 Runtime Harness，直接复用于其他模型架构——无需重新训练或适配。 + +## 核心发现 + +Life-Harness 的实验揭示了一个关键性质： + +- **源模型**：仅在 Qwen3-4B-Instruct 上进化 Harness +- **目标**：17 个其他模型（指令微调、推理、Agent 专用模型） +- **结果**：116/126 模型-环境组合设臵提升，平均相对增益 88.5% + +Harness 跨模型有效，因为它捕获的是**环境侧的可复用结构**（工具契约、合法动作集、退化模式），而非**模型侧的行为特征**。 + +## 为什么能跨模型迁移 + +确定性 Agent 环境的"规则"与模型无关： +- Tool Schema 对 Qwen 和 DeepSeek 都一样 +- 合法动作集不随模型而变化 +- 轨迹退化模式（重复/停滞）是环境动态的产物，非模型的产物 +- 反馈格式由环境定义 + +Harness 将这些规则从"隐性（需要模型学会）"变为"显性（在接口层强制执行）"，因此**消除而不是包装了模型差异**。 + +## 与 Parameter Adaptation 的对比 + +| 维度 | Parameter Adaptation | Harness Transfer | +|------|---------------------|------------------| +| 跨模型需重训 | 是（换模型 = 重新 SFT/RL） | 否（Harness 不动） | +| 适配对象 | 模型的行为分布 | 环境的规则结构 | +| 典型成本 | Compute heavy | 轨迹收集 + Coding Agent | + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[runtime-interface-adaptation|Runtime Interface Adaptation]] +- [[harness-evolution|Harness Evolution]] diff --git a/concepts/cross-section-synthesis.md b/concepts/cross-section-synthesis.md new file mode 100644 index 0000000..3ebcb62 --- /dev/null +++ b/concepts/cross-section-synthesis.md @@ -0,0 +1,42 @@ +--- +title: "Cross-Section Synthesis — Information Integration Across Document Parts" +type: concept +created: 2026-06-04 +tags: [information-retrieval, document-processing, synthesis] +sources: ["ma-intragent-2026"] +--- + +# Cross-Section Synthesis（跨节综合） + +**定义**：从文档的多个非相邻章节中提取信息并将其综合为连贯答案的能力——这是 [[intraview|IntraView]] 任务的关键挑战之一。 + +## 为什么重要 + +科学文献中，回答一个查询往往需要跨越多个章节： +- **方法论**章节描述实验设置 +- **结果**章节报告关键数值 +- **讨论**章节提供解释和局限性 + +传统的检索系统按"最相关片段"返回结果，无法跨节关联这些分散的信息。 + +## IntrAgent 的实现 + +[[intragent|IntrAgent]] 通过两个机制实现跨节综合： + +1. **短期记忆累积**：[[iterative-reading|迭代阅读]] 过程中逐步收集的细节 `{D₁, ..., Dₘ}` 存储在短期记忆中 +2. **推迟合成**：在 [[sufficiency-check|充分性检查]] 确认足够的跨节证据后才进行最终答案合成 + +## 典型查询模式 + +| 查询类型 | 需要的章节 | +|---------|-----------| +| 实验参数 | 方法 + 补充材料 | +| 性能比较 | 结果 + 相关工作 | +| 限制条件 | 讨论 + 方法假设 | +| 数值确认 | 结果表格 + 方法中的定义 | + +## 相关概念 + +- [[iterative-reading]] — 支持跨节累积的阅读机制 +- [[sufficiency-check]] — 确保跨节证据充分 +- [[intraview|IntraView]] — 跨节综合是核心挑战 diff --git a/concepts/data-augmentation.md b/concepts/data-augmentation.md new file mode 100644 index 0000000..e61947d --- /dev/null +++ b/concepts/data-augmentation.md @@ -0,0 +1,24 @@ +--- +title: "数据增强 (Data Augmentation)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [data-augmentation, training, NLP] +status: placeholder +--- + +# 数据增强 (Data Augmentation) + +> ⚠️ 占位符页面 — 待完善 + +数据增强是通过对原始数据施加变换来扩充训练数据的技术。在 NLP 领域包括同义词替换、回译、文本扰动等方法。 + +在知识注入场景中分为两类： +- [[knowledge-agnostic-augmentation|知识无关增强]]：不依赖外部知识的通用增强 +- [[knowledge-aware-augmentation|知识感知增强]]：利用领域知识的定向增强 + +## 相关概念 + +- [[knowledge-agnostic-augmentation|知识无关增强]] +- [[knowledge-aware-augmentation|知识感知增强]] +- [[kore-augmentation|KORE 增强]] diff --git a/concepts/data-wall.md b/concepts/data-wall.md new file mode 100644 index 0000000..33f21eb --- /dev/null +++ b/concepts/data-wall.md @@ -0,0 +1,41 @@ +--- +title: "数据墙 (Data Wall)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [LLM, scaling-law, training-data, data-bottleneck] +sources: [raw/articles/lecun-llm-boundary-future-2026.md, https://epoch.ai/publications/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data] +--- + +# 数据墙 (Data Wall) + +LLM 规模化扩展面临的高质量训练数据即将耗尽的瓶颈。LeCun 将此视为 LLM 架构局限的外部约束之一。 + +## 量化估算 + +根据 Epoch AI 的估算： +- 可用于训练的高质量公开人类文本数据：约 **300 万亿 Token**（95% CI: 100万亿-1000万亿） +- Llama 3-70B 训练数据：约 7000 亿 Token（仅 ~1/429） +- 在较高过训练倍率下，数据瓶颈可能出现在 **2025-2030** + +## 应对策略 + +1. **版权数据/私有数据授权**：需要高额费用，中小开源项目难以负担 +2. **合成数据**：在数学/代码/推理任务中有效，但可能引发[[model-collapse-step|模型崩塌]]——偏差在多轮训练中累积 +3. **多模态训练信号**：从代码、视频、机器人交互获取 + +## 对开源/闭源的差异化冲击 + +| 闭源 | 开源 | +|------|------| +| 转向版权授权（有钱） | 版权费用难以负担 | +| 合成数据（有隐患） | 合成数据同样受限 | +| 无法接入私域数据 | [[tapestry-federated|Tapestry]] 可接入私域数据而不共享 | + +Tapestry 将大量未被纳入模型训练的私域数据通过联邦机制纳入——这些数据闭源方**用钱也买不到**。 + +## 来源 + +- [[lecun-llm-boundary-future|原始文章]] +- [[model-collapse-step|模型崩塌]] +- [[tapestry-federated|Tapestry]] diff --git a/concepts/ddcadam.md b/concepts/ddcadam.md new file mode 100644 index 0000000..3b6c7bd --- /dev/null +++ b/concepts/ddcadam.md @@ -0,0 +1,45 @@ +--- +title: "DDCAdam (Dead-Direction-Calibrated Adam)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["deep-learning", "optimization", "adam", "gauge-symmetry", "fisher-metric"] +sources: ["[[dead-directions-geometric-singular-learning]]"] +--- + +# DDCAdam (Dead-Direction-Calibrated Adam) + +**DDCAdam** 是 [[dead-directions-geometric-singular-learning|Shirodkar (2026)]] 提出的 G-等变 Adam 族预条件子，解决标准 Adam 无法保持 loss 对称性的问题。 + +## 动机：Gauge 商定理 + +在 G-不变度量上的梯度流下，[[dead-direction|dead direction]] 的速率可传递到商空间 Theta/G： +- **SGD** 符合条件（其隐式正则化保持对称性） +- **标准 Adam 不符合**——其逐坐标自适应破坏了 G-等变性 + +## DDCAdam 的设计 + +使 Adam 的预条件子与 loss 对称群 G 兼容： + +1. 识别网络的对称性结构（缩放、置换等） +2. 构造保持 G-等变性的自适应学习率 +3. 在 dead direction 分析中正确传递速率 + +## 为什么重要 + +- 标准 Adam 会"干扰"奇异几何——破坏了 dead direction 的自然结构 +- DDCAdam 保留了训练轨迹中的奇异几何信息 +- 使 [[watanabe-triple|Watanabe 三元组]]的轨迹读取成为可能 + +## 实践建议 + +如果使用 Adam 训练网络，且希望进行 SLT 分析： +1. 切换到 DDCAdam（保持 G-等变性） +2. 或使用 SGD + momentum +3. **不要**使用标准 Adam——它会破坏奇异几何信号 + +## 参考 +- [[dead-directions-geometric-singular-learning|Dead Directions]] +- [[dead-direction|Dead Direction]] +- [[watanabe-triple|Watanabe's Triple]] +- [[fisher-information-metric|Fisher Information Metric]] diff --git a/concepts/dead-direction.md b/concepts/dead-direction.md new file mode 100644 index 0000000..9e15c2b --- /dev/null +++ b/concepts/dead-direction.md @@ -0,0 +1,52 @@ +--- +title: "死方向 (Dead Direction)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["singular-learning-theory", "information-geometry", "fisher-metric", "deep-learning-theory"] +sources: ["[[dead-directions-geometric-singular-learning]]"] +--- + +# 死方向 (Dead Direction) + +**Dead Direction** 是 [[dead-directions-geometric-singular-learning|Shirodkar (2026)]] 提出的桥接原语：Fisher 信息度量退化方向上的单位向量，连接 [[singular-learning-theory|奇异学习理论]]和[[information-geometry|信息几何]]。 + +## 两大解读 + +| 框架 | 解读 | +|------|------| +| Amari 信息几何 | Fisher 度量 F 失去非退化性的方向 | +| Watanabe 奇异学习理论 | 解析奇异集 Sigma_T 的切向量，具有确定的 KL 阶 k | + +两者命名**同一向量**——这是桥接的关键。 + +## 形式化定义 + +沿路径 theta(t) → 奇异集（t → 0），方向 u 满足： + +``` +u^T F(theta(t)) u → 0 as t → 0 +``` + +## 核心定理（Theorem 2） + +``` +u^T F(theta(t)) u = Theta(t^{2(k-1)}) +``` + +其中 k 是 KL 阶。最小 Fisher 特征值的衰减斜率直接读出 k： +- k=1（正则）：斜率 0 +- k=2：斜率 2 +- k=3：斜率 4 + +## 为什么重要 + +1. **无需广中平祐消解**：KL 阶在原始参数坐标中可计算 +2. **连接两大传统**：Amari 的退化方向 = Watanabe 的切向量 +3. **实践可操作**：可从单个 checkpoint 的梯度信息中提取 + +## 参考 +- [[dead-directions-geometric-singular-learning|Dead Directions]] +- [[kl-order|KL Order]] +- [[fisher-information-metric|Fisher Information Metric]] +- [[singular-learning-theory|Singular Learning Theory]] diff --git a/concepts/deep-gaussian-process.md b/concepts/deep-gaussian-process.md new file mode 100644 index 0000000..05d01d3 --- /dev/null +++ b/concepts/deep-gaussian-process.md @@ -0,0 +1,50 @@ +--- +title: "深度高斯过程 (Deep Gaussian Process)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [bayesian-deep-learning, gaussian-process, hierarchical-models] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 深度高斯过程 (Deep Gaussian Process) + +深度高斯过程 (DGP) 将 GP 推广为**层次化组合**——每一层的输出作为下一层的输入，表达力远超单层 GP。[ortega-phd-thesis|Ortega (2026)] 提出的 [[deep-variational-implicit-process|DVIP]] 是 DGP 的高效替代方案。 + +## 定义 + +``` +f_L ∘ f_{L-1} ∘ ... ∘ f_1(x), f_l ~ GP(m_l, k_l) +``` + +每一层 `f_l` 本身是一个高斯过程。 + +## 优势 vs 浅层 GP + +| 维度 | 浅层 GP | DGP | +|------|--------|-----| +| 表达能力 | 核函数决定 | 层次化组合 | +| 非平稳性 | 需特殊设计 | 自然涌现 | +| 多尺度 | 单尺度 | 每层捕获不同尺度 | + +## 计算挑战 + +DGP 的推断代价高： +- 隐层无观测 → 需要近似推断 +- 变分推断需大量 inducing points +- 计算复杂度 O(NM^2) 量级 + +## DVIP 作为替代 + +DVIP 用 [[implicit-processes|隐式过程]] 替代 GP： +- 保留 DGP 的层次结构 +- 降低约 10 倍计算代价 +- 允许非高斯先验 + +## 参考 + +- [[deep-variational-implicit-process|DVIP]] +- [[implicit-processes|隐式过程]] +- [[function-space-modeling|函数空间建模]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/deep-rl-scaling.md b/concepts/deep-rl-scaling.md new file mode 100644 index 0000000..0050bac --- /dev/null +++ b/concepts/deep-rl-scaling.md @@ -0,0 +1,50 @@ +--- +title: "扩展深度强化学习 (Scaling Deep RL)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["deep-rl", "scaling-laws", "multitask-learning"] +sources: ["[[predictive-representations-scalable-mtrl]]"] +--- + +# 扩展深度强化学习 (Scaling Deep RL) + +**Scaling Deep RL** 关注如何通过增加模型容量、数据量和任务多样性来持续提升RL性能——类似于语言和视觉领域的 scaling laws 研究。 + +## 核心挑战 + +与监督学习不同，RL 的 scaling 面临独特障碍： + +1. **非平稳数据**：策略更新 → 数据分布变化 +2. **Bootstrapping**：TD 目标的递归性质放大误差 +3. **表征崩溃**：大模型在稀疏信号下出现死神经元 +4. **损失可塑性**：持续训练导致网络失去学习能力 + +## 关键发现 + +[[predictive-representations-scalable-mtrl|Obando-Ceron et al. (2026)]] 的核心 scaling 发现： + +- **无预测表征**：模型增大 → 性能持平或退化 +- **有预测表征**：模型增大 → 持续性能提升 + +→ **表征质量是 scaling 的瓶颈**，而非模型容量本身。 + +## 与 LLM/Vision Scaling 的对比 + +| 维度 | LLM/Vision | Deep RL | +|------|-----------|---------| +| 数据 | 静态语料库 | 在线交互 | +| 监督 | 密集 | 稀疏/非平稳 | +| 目标 | 静态 | Bootstrapped | +| Scaling 瓶颈 | 数据量 | **表征质量** | + +## 实践意义 + +1. 扩大模型前，先确保表征学习机制到位 +2. [[predictive-representation-learning|预测目标]]是低成本、高回报的 scaling 杠杆 +3. Wall-clock 效率应与样本效率并重 + +## 参考 +- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]] +- [[predictive-representation-learning|Predictive Representation Learning]] +- [[multitask-rl|Multitask RL]] diff --git a/concepts/deep-variational-implicit-process.md b/concepts/deep-variational-implicit-process.md new file mode 100644 index 0000000..c2433da --- /dev/null +++ b/concepts/deep-variational-implicit-process.md @@ -0,0 +1,43 @@ +--- +title: "深度变分隐式过程 (DVIP)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [bayesian-deep-learning, variational-inference, implicit-processes, gaussian-process] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 深度变分隐式过程 (Deep Variational Implicit Process) + +DVIP 是 [[ortega-phd-thesis|Ortega (2026)]] 提出的可扩展 Bayesian 框架——将[[implicit-processes|隐式过程]]扩展到深度架构，在函数空间中建模可采样但无显式密度的分布。 + +## 动机 + +- [[deep-gaussian-process|深度高斯过程 (DGP)]] 表达力强但计算代价高 +- 隐式过程允许**非高斯先验**和**高效变分推断** +- 关键挑战：如何将隐式过程与深度架构结合 + +## 核心思想 + +DVIP 定义深度隐式过程为： + +``` +f(x) = f_L ∘ f_{L-1} ∘ ... ∘ f_1(x) +``` + +其中每一层 `f_l` 是一个隐式过程——可从先验采样（通过噪声→函数的确定映射），但无显式概率密度。 + +## 优势 + +- 非高斯先验：比 GP 更表达 +- 函数空间变分推断：直接在函数分布上优化 +- 计算高效：DGP 的约 1/10 代价 +- 可扩展：适用于现代深度架构 + +## 参考 + +- [[implicit-processes|隐式过程]] +- [[deep-gaussian-process|深度高斯过程]] +- [[function-space-modeling|函数空间建模]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/deepseek-r1.md b/concepts/deepseek-r1.md new file mode 100644 index 0000000..f9783f7 --- /dev/null +++ b/concepts/deepseek-r1.md @@ -0,0 +1,28 @@ +--- +title: "DeepSeek-R1" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [reasoning-model, llm, deepseek, placeholder] +sources: [] +--- + +# DeepSeek-R1 + +> DeepSeek 发布的开源推理模型（Guo et al., 2025），通过强化学习激励推理能力，在多个基准上达到领先水平。 + +## 核心特点 + +- 基于 RL 的推理能力训练（非 SFT） +- 生成显式推理 token（thinking tokens），随后生成回复 +- 主要基于单轮推理数据训练 + +## 在多轮推理中的局限 + +[[goru-one-pass-to-reason-2025]] 指出，DeepSeek-R1 遵循行业惯例——推理 token 在后续轮次中被丢弃，导致多轮微调效率低下（需 N 遍前向传播）。 + +## 相关 + +- [[goru-one-pass-to-reason-2025|One-Pass to Reason]] +- [[multi-turn-reasoning]] +- [[visibility-constraint]] diff --git a/concepts/deterministic-agent-failures.md b/concepts/deterministic-agent-failures.md new file mode 100644 index 0000000..2bd2d49 --- /dev/null +++ b/concepts/deterministic-agent-failures.md @@ -0,0 +1,41 @@ +--- +title: "Deterministic Agent Failures（确定性 Agent 失败分类）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, failure-analysis, deterministic, taxonomy] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +--- + +# Deterministic Agent Failures + +> 在确定性、规则驱动的 Agent 环境中，失败可以系统性地分类为四大类型——不同类型的失败需要不同阶段的接口干预。 + +## 四类失败 + +基于 Life-Harness 在 Qwen3-4B-Instruct 上的手动失败诊断（393 个失败 episode）： + +| 类型 | 占比 | 定义 | 对应 Harness 层 | +|------|------|------|----------------| +| **动作实现失败** | ~23% | 模型意图合理，但动作格式不可执行（自由文本代替 tool call、缺失参数） | [[action-realization-layer\|动作实现层]] | +| **环境契约不匹配** | ~33% | 动作语法正确但违反工具使用的调用协议或策略约束 | [[environment-contract-layer\|环境契约层]] | +| **轨迹退化** | ~17% | 单步有效但整体陷入重复、停滞或无效恢复循环 | [[trajectory-regulation-layer\|轨迹调控层]] | +| **一般推理失败** | ~27% | 推理、计算或决策本身错误，尽管基本遵循了协议 | 超出 Harness 范围，需模型改进 | + +## 关键洞察 + +四类失败的分布**因环境而异**——不同 benchmark 的主导失败模式差异很大： +- ALFWorld：动作实现 + 轨迹退化占主导 +- WebShop：环境契约匹配更关键 +- OS/DBBench：分布更均匀 + +这意味着：**没有万能的一层 Harness**——需要多层协同覆盖。 + +## 诊断方法 + +对每个失败 episode，按最早主导瓶颈分配类别（见论文 Appendix A.1 的详细分类规则）。 + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[runtime-harness-adaptation|Runtime Harness Adaptation]] +- [[harness-evolution|Harness Evolution]] diff --git a/concepts/differentiable-token-budgeting.md b/concepts/differentiable-token-budgeting.md new file mode 100644 index 0000000..db5ac9c --- /dev/null +++ b/concepts/differentiable-token-budgeting.md @@ -0,0 +1,44 @@ +--- +title: "Differentiable Token Budgeting" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [token-economics, frontier, differentiable, agent] +sources: [[chen-token-economics-llm-agents]] +--- + +# Differentiable Token Budgeting + +**可微分 Token 预算**是 Token Economics 五大前沿方向之一（O1），主张将 Token 预算从一个**外生参数**转变为一个**可学习的、可微分的参数**，使 Agent 能通过梯度优化自动学习最优的 Token 分配策略。 + +## 动机 + +当前的 Token 预算管理是硬编码的： +- 固定上下文窗口截断 +- 手动设定的 CoT 步骤上限 +- 静态的工具调用次数限制 + +这些硬约束忽略了任务间的异质性：简单任务被分配过多 token 造成浪费，复杂任务被截断导致失败。 + +## 核心理念 + +``` +Budget = f_θ(task_complexity, quality_target, cost_constraint) +``` + +使用可学习的函数 f_θ（参数为 θ），根据任务特征动态预测最优 Token 预算。通过将预算分配与最终任务质量建立可微连接，用梯度下降优化 θ。 + +## 关键挑战 + +| 挑战 | 描述 | +|------|------| +| **离散性** | Token 预算是离散的——需要离散优化或连续松弛 | +| **因果链长度** | 预算 → 生成 → 质量之间的因果链太长，梯度信号稀疏 | +| **分配粒度** | 预算需要在 token 类型之间分配（推理/记忆/工具），而非单一数字 | +| **在线适应** | 预算预测需要适应执行过程中的新信息 | + +## 与相关概念的连接 + +- [[agent-token-budget-optimization|Token 预算优化]] 解决静态预算下的最优分配，可微预算解决预算本身的动态确定 +- [[token-efficiency|Token 效率]] 的目标（更少 token 同等质量）是可微预算的优化信号 +- [[micro-level-token-economics|微观 Token 经济学]] 的要素替代问题在可微预算下不再需要人工设定替代弹性 diff --git a/concepts/diffusion-based-tpp.md b/concepts/diffusion-based-tpp.md new file mode 100644 index 0000000..bc1e2a0 --- /dev/null +++ b/concepts/diffusion-based-tpp.md @@ -0,0 +1,48 @@ +--- +title: "扩散时间点过程 (Diffusion-based TPP)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, diffusion-models, generative-modeling, non-autoregressive] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# 扩散时间点过程 (Diffusion-based TPP) + +扩散 TPP 利用扩散模型的迭代去噪机制生成整个事件序列，提供了一种非自回归（non-autoregressive）的 TPP 建模范式。 + +## 核心思想 + +不同于传统神经 TPP 逐事件自回归预测 `p(t_n | H_{t_{n-1}})`，扩散 TPP 学习整个序列 `T = (t_1,...,t_N)` 的联合分布： + +``` +T_0 ~ data distribution +T_1, ..., T_K (前向加噪) +p_theta(T_{k-1} | T_k) (反向去噪/生成) +``` + +## 关键工作 + +- **Add-and-Thin** (Lüdke et al., 2023)：首个扩散 TPP 框架，用点过程特有的"添加"和"thinning"操作替代标准高斯扩散，保留事件序列语义 +- **EventFlow** (Kerrigan et al., 2024)：用 flow matching 在一次去噪轨迹中预测整个预测窗口内的多个未来事件 +- **Spatio-temporal diffusion** (Yuan et al., 2023)：联合建模空间和时间的扩散点过程 +- **Point set diffusion** (Lüdke et al., 2024)：将事件序列视为无序点集，排列不变生成 + +## 优势与局限 + +### 优势 +- 批量化生成整条序列，避免自回归误差累积 +- 天然捕捉事件间的全局依赖 +- 适合长程预测和序列模拟 + +### 局限 +- **时序一致性弱**：隐式表征时间信息，难以保证因果顺序 +- **训练/推理成本高**：每次生成需数十到数百次去噪步骤 +- **缺乏显式似然**：模型评估和校准困难 +- **精细时序结构**：inter-event 时间分布不如直接参数化精确 + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[neural-temporal-point-process|神经 TPP]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/double-descent.md b/concepts/double-descent.md new file mode 100644 index 0000000..dce2c9e --- /dev/null +++ b/concepts/double-descent.md @@ -0,0 +1,49 @@ +--- +title: "双下降 (Double Descent)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [theory, generalization, deep-learning, phenomena] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 双下降 (Double Descent) + +双下降是深度学习中**模型复杂度增加时测试误差先降、后升、再降**的经验现象——违背经典 U 型曲线的直觉。[[ortega-phd-thesis|Ortega (2026)]] 通过 PAC-Chernoff 界提供了定量解释。 + +## 三个阶段 + +``` +测试误差 + ↑ + | ↓ (classical) + | ↑ (插值阈值) + | ↓ (过参数化区间) + └──────────────→ 模型复杂度 +``` + +1. **经典区间**：偏差-方差权衡，U 型最低点 +2. **插值阈值**：模型刚好拟合训练数据 → 误差峰值 +3. **过参数化区间**：越过插值 → 误差再次下降 + +## PAC-Chernoff 解释 + +传统界在插值区间失效（L_train ≈ 0 → bound ≈ ∞）。Ortega 的大偏差界： + +- **非渐进**：不假设 n→∞ +- **率函数**：捕获了损失景观的局部几何 +- 在插值点：率函数 I(0) 分母为模型灵活性 +- 过参数化后：增加灵活性 → 率函数增大 → 界收紧 + +## 与三个泛化机制的关联 + +- **光滑性**：平坦极小值 → 率函数更陡 → 界更紧 +- **多样性**：集成 → 有效方差减小 +- **随机性**：SGD 噪声 → 自然偏向平坦极小值 + +## 参考 + +- [[generalization-bounds|泛化界]] +- [[pac-bayesian-bounds|PAC-Bayesian 界]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/dpo.md b/concepts/dpo.md new file mode 100644 index 0000000..2a51638 --- /dev/null +++ b/concepts/dpo.md @@ -0,0 +1,21 @@ +--- +title: "DPO (Direct Preference Optimization)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [DPO, alignment, LLM, training] +status: placeholder +--- + +# DPO (Direct Preference Optimization) + +> ⚠️ 占位符页面 — 待完善 + +DPO 是一种直接偏好优化方法，通过重新参数化 RLHF 中的奖励函数，直接从偏好数据中优化策略，无需显式训练奖励模型。是 RLHF 的简化替代方案。 + +在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 的讨论中，RLHF/DPO 等替代性后训练范式与 SFT 形成对照。 + +## 相关概念 + +- [[rlhf]] +- [[supervised-fine-tuning|SFT]] diff --git a/concepts/drift-detection.md b/concepts/drift-detection.md new file mode 100644 index 0000000..4de92c3 --- /dev/null +++ b/concepts/drift-detection.md @@ -0,0 +1,49 @@ +--- +title: "漂移检测 (Drift Detection)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [observability, llm, monitoring, drift] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# 漂移检测 (Drift Detection) + +> 监控 LLM 输出结构随时间变化的趋势检测技术——在"第 47 次报错"之前，从"第 32 次开始不对劲"时就看到信号。 + +## 问题 + +LLM 输出的 JSON 错误模式是**漂移的**而非稳定的： +- 第 1 次：字段名少了下划线 +- 第 47 次：多了未定义的字段 +- 第 89 次：str 类型塞了 None + +传统 `model_validate` 只能告诉你某次校验失败，不能告诉你**趋势**——哪些字段一直在漂？哪个模型最不稳定？ + +## 检测维度 + +- **字段漂移**：哪些字段的校验失败频率在上升？ +- **类型漂移**：哪些字段的类型不匹配越来越频繁？ +- **Token 成本漂移**：输出格式崩塌是否伴随 token 消耗激增？ +- **Tool 调用漂移**：Agent 调用某个 tool 的频率是否异常变化？ + +## 实现方式 + +[[logfire|Logfire]] 提供了基于 SQL 查询的漂移检测——不是点按钮过滤，是写 SQL 查 trace： + +```sql +SELECT tool_name, count(*) as calls +FROM traces +WHERE time_range = '7d' +GROUP BY tool_name ORDER BY calls DESC +``` + +## 真实案例 + +Sophos 安全团队：Agent 调用某个 tool 的频率从每 50 次推理 1 次涨到每 8 次 1 次——不是业务量涨了，是 Agent 学"聪明"了。传统日志只报告调用成功，SQL 查询揭示了频率异常。 + +## 参考 + +- [[logfire|Logfire]] +- [[agent-observability|Agent 可观测性]] +- [[structured-output|结构化输出]] diff --git a/concepts/dynamic-weight-updates.md b/concepts/dynamic-weight-updates.md new file mode 100644 index 0000000..7f2d0aa --- /dev/null +++ b/concepts/dynamic-weight-updates.md @@ -0,0 +1,41 @@ +--- +title: "Dynamic Weight Updates" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, llm-dynamics, controllability] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Dynamic Weight Updates（动态权重更新） + +## 定义 + +动态权重更新是 Xu et al. (2026) 提出的统一框架，将 LLM 的多种控制方法——局部权重微调、LoRA 和激活导向——表达为同一仿射变换的实例： + +$$h_{i+1} = (W + m_1 \Delta W) h_i + (b + m_2 \Delta b)$$ + +其中 $\Delta W$ 和 $\Delta b$ 是更新项，$m_1, m_2$ 是标量缩放系数。 + +## 核心洞察 + +从激活视角看，所有干预方法等价于向激活添加一个变化项： + +$$\Delta h = m_1 \Delta W h_i + m_2 \Delta b$$ + +三种方法仅在**哪个组件被更新**上有所不同： +- **Local Weight**：同时修改 W 和 b +- **LoRA**：通过低秩因子修改 W +- **Steering Vector**：仅修改 b（即仅向激活添加偏置方向） + +## 缩放系数的作用 + +引入显式缩放系数 $m_1, m_2$ 扩展了传统公式，使干预强度可以连续调节——这是 preference–utility 统一分析的核心。 + +## 相关概念 + +- [[preference-utility-analysis]] — 基于统一视角的控制效果分析 +- [[intervention-multiplier]] — 缩放系数 m +- [[lora]] — 低秩权重更新 +- [[activation-steering]] — 偏置形式的动态更新 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/eluder-dimension.md b/concepts/eluder-dimension.md new file mode 100644 index 0000000..6c9f10e --- /dev/null +++ b/concepts/eluder-dimension.md @@ -0,0 +1,42 @@ +--- +title: "Eluder 维度 (Eluder Dimension)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["statistical-learning-theory", "complexity-measures", "rl-theory"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# Eluder 维度 (Eluder Dimension) + +**Eluder 维度**（Russo & Van Roy, 2013）是衡量函数类"顺序复杂度"的度量——它刻画了需要多少样本才能在函数类中唯一确定一个函数。 + +## 直觉 + +一个函数类有小的 Eluder 维度，意味着如果两个函数在少量精心选择的数据点上一一致，它们就在所有数据点上一一致。换句话说，你不能在其中"躲藏"太久。 + +## 在策略后悔界中的角色 + +在 [[minimax-policy-regret-pomg|Arora (2026)]] 的 POMG 分析中，Eluder 维度 d_E 出现在 regret 界中： + +``` +PR(T) = O(sqrt(d_E * T)) +``` + +两类算子的 Eluder 维度： + +1. **Stepwise 类** (d_step)：单步 OOM 算子差异 +2. **Aggregate 类** (d_agg = d_E)：整个 episode 的累积差异 + +## 具体界 + +| 模型类 | d_E | +|--------|-----| +| Tabular | O(H * |S|^2 * |A| * |B| * |O_A|^k * |O_B|^k) | +| Linear world | O(H * (d_w * |O_A|^k * |O_B|^k + d_adv * |B|)) | +| Low-rank | O(H * (r^2 * (|A|+|B|) * |O_A|^k * |O_B|^k + ...)) | + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[observable-operator-model|OOM]] +- [[minimax-optimality|Minimax Optimality]] diff --git a/concepts/emmy-noether.md b/concepts/emmy-noether.md new file mode 100644 index 0000000..b438afa --- /dev/null +++ b/concepts/emmy-noether.md @@ -0,0 +1,43 @@ +--- +title: "埃米·诺特 (Emmy Noether)" +created: 2026-06-07 +updated: 2026-06-07 +type: concept +tags: [数学家, 抽象代数, 数学史, 20世纪数学] +--- + +# 埃米·诺特 (Emmy Noether, 1882–1935) + +德国数学家，抽象代数的奠基人之一。她也是揭开[[georg-cantor|康托尔]]与[[richard-dedekind|狄德金]]之间署名争议的关键人物。 + +## 生平 + +- 1882年出生于德国埃尔朗根 +- 师从数学大师，但在当时女性难以获得正式教职 +- 在哥廷根大学工作，深受学生爱戴 +- 1933年纳粹上台后，作为犹太人被迫流亡美国 +- 1935年因癌症去世 + +## 主要贡献 + +- **诺特定理**：揭示了对称性与守恒律之间的深刻联系，是理论物理的基石 +- **抽象代数**：奠定了现代代数学的基础框架 +- **理想论**：在环论中有奠基性贡献 + +## 与康托尔-狄德金争议的关系 + +1930年代，诺特在整理狄德金遗作全集时，偶然发现了狄德金保存的与康托尔的往来信件： + +- 这些信件揭示了康托尔1874年论文中的代数数可数性证明实为狄德金的贡献 +- 狄德金在私人笔记中写道：自己的两个证明"几乎一字不差地以康托尔的名义"发表 + +诺特与法国哲学家卡瓦利斯合作整理了这些信件，于1937年出版。他们选择**不公开指控**康托尔，而是"让信件本身来说明一切"——这是当时的学术荣誉准则。 + +> "一切真相都写在狄德金的著作之中。" —— 诺特常对学生说的话 + +## 相关条目 + +- [[richard-dedekind|里夏德·狄德金]] +- [[georg-cantor|格奥尔格·康托尔]] +- [[mathematical-priority-disputes|数学优先权争议]] +- [[cantor-stole-infinity|窃取无穷的数学家]] diff --git a/concepts/emotional-value-evaluation.md b/concepts/emotional-value-evaluation.md new file mode 100644 index 0000000..56d83ff --- /dev/null +++ b/concepts/emotional-value-evaluation.md @@ -0,0 +1,42 @@ +--- +title: "情绪价值评估 (Emotional Value Evaluation)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [evaluation, llm, emotion, finance, user-experience] +sources: [raw/articles/qifu-llm-finance-practice-2026.md] +--- + +# 情绪价值评估 (Emotional Value Evaluation) + +奇富科技王元提出的**大模型在业务场景中的主观质量评估方法**：在金融科技项目中，"情绪价值"往往先于业务效果被感知，呈现"先看着对，后用着有效果"的特点。 + +## 核心观察 + +在营销业务中，若 AI 系统无法准确识别并安抚用户情绪，**即便信息准确也会导致体验崩塌**，更别提邀约成功率。情绪价值是业务成功的**必要条件**而非充分条件。 + +## 评估方法 + +引入**心理学方法**构建评估器： +- 评估 AI 输出是否"看着对"——语气、共情能力、情绪识别准确度 +- 在商业签单阶段优先提供"看着像"的情绪价值 +- 再追求邀约成功率等硬指标 + +## 与传统评估的对比 + +| 维度 | 情绪价值评估 | 传统准确率评估 | +|------|------------|--------------| +| 评估对象 | 主观体验 | 客观事实 | +| 度量方式 | 心理学量表/打分制 | 准确率/召回率 | +| 业务优先级 | 先验条件 | 后验优化 | +| 对失败的影响 | 直接导致体验崩塌 | 部分影响效率 | + +## 实践启示 + +- 在 B2B 商业签单中，"看起来专业"和"实际上准确"同样重要——前者决定是否给你机会证明后者 +- 情绪识别和安抚能力是对话式 AI 在营销场景中的**地基能力** +- 主观性评估采用打分制配合人工抽样检查 + +## 参考 + +- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享 diff --git a/concepts/environment-contract-layer.md b/concepts/environment-contract-layer.md new file mode 100644 index 0000000..f2306d6 --- /dev/null +++ b/concepts/environment-contract-layer.md @@ -0,0 +1,36 @@ +--- +title: "Environment Contract Layer（环境契约层）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, harness, contract, interface] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +--- + +# Environment Contract Layer + +> Life-Harness 的第①层：在交互开始前，校准并增强模型可见的环境契约，使稳定的环境约束显式化。 + +## 机制 + +该层操作在模型开始与环境的交互循环之前，将原始环境契约 C 增强为 C′ = C ⊕ ΔC，其中 ΔC 是从训练轨迹和环境策略中导出的**精简约束更新**。 + +ΔC 通常包含： +- 工具应如何调用的规范 +- 在当前环境协议下哪些动作是合法的 +- 环境特定的常见陷阱和避免策略 + +## 为什么需要 + +在 Life-Harness 的失败诊断中，**环境契约不匹配（Environment Contract Mismatch）**占所有失败的约 33%——这是最高频的单一失败类别。Agent 生成了语法正确的工具调用，但违反了环境的调用协议或策略约束。这些问题**无法通过更强的推理能力解决**——需要的是更清晰、更精确的接口约定。 + +## 与其他层的关系 + +- 与 [[procedural-skill-layer|程序技能层]] 互补：契约层提供"什么是合法的"，技能层提供"怎么做好" +- 为 [[action-realization-layer|动作实现层]] 提供验证依据 +- 在 [[runtime-harness-adaptation|Runtime Harness Adaptation]] 中处于优先级最高的位置 + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[action-realization-layer|动作实现层]] +- [[deterministic-agent-failures|确定性 Agent 失败分类]] diff --git a/concepts/epistemic-uncertainty.md b/concepts/epistemic-uncertainty.md new file mode 100644 index 0000000..9212a5b --- /dev/null +++ b/concepts/epistemic-uncertainty.md @@ -0,0 +1,40 @@ +--- +title: "认知不确定性 (Epistemic Uncertainty)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["uncertainty-quantification", "bayesian-deep-learning", "clinical-ai"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 认知不确定性 (Epistemic Uncertainty) + +**认知不确定性**（Epistemic Uncertainty）是模型由于知识不足而产生的不确定性，可通过增加训练数据来减少。与之相对的是 [[aleatoric-uncertainty|随机不确定性]]（数据本身的噪声，不可减少）。 + +## 形式化定义 + +在贝叶斯深度学习中，通过 [[mc-dropout|MC Dropout]] 进行 T 次随机前向传播来估计： + +方差 = (1/T) * 求和_t [f(z_t) - 均值]^2 + +其中 z_t 通过重参数化采样：z_t = mu_fused + epsilon_t * sigma_fused, epsilon_t ~ N(0, I) + +## 临床意义 + +认知不确定性在临床 AI 中的关键价值： +- **分布外检测**：当患者特征偏离训练分布时（如农村医院患者），认知不确定性自然升高 +- **公平性信号**：系统性的认知不确定性差异揭示了模型训练数据的代表性不足 +- **人工升级触发**：高认知不确定性指示模型"知道自己不知道"，应触发专家审核 + +## 与其他不确定性的区别 + +| 类型 | 来源 | 可减少性 | 估计方法 | +|------|------|---------|---------| +| **认知** | 模型知识不足 | 可减少 | MC Dropout 方差 | +| 随机 | 数据噪声 | 不可减少 | 专用输出头 | + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[uncertainty-quantification|不确定性量化]] +- [[bayesian-deep-learning|贝叶斯深度学习]] +- [[expected-calibration-error|ECE]] diff --git a/concepts/epoch-based-optimistic-mle.md b/concepts/epoch-based-optimistic-mle.md new file mode 100644 index 0000000..1c1a40c --- /dev/null +++ b/concepts/epoch-based-optimistic-mle.md @@ -0,0 +1,48 @@ +--- +title: "Epoch-based 乐观 MLE (Epoch-based Optimistic MLE)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["rl-algorithms", "optimism", "online-learning", "exploration"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# Epoch-based 乐观 MLE + +**Epoch-based Optimistic MLE** 是 [[minimax-policy-regret-pomg|Arora (2026)]] 提出的 POMG 策略后悔最小化算法，核心思想是通过极少次数的策略切换来控制传输成本。 + +## 算法结构 + +``` +for e = 0, 1, 2, ...: + T_e = 2^e // 几何增长的 epoch 长度 + 基于累积数据构建 MLE 置信集 C_e + 选择乐观策略 pi_e = argmax_{pi, xi in C_e} V^{pi, xi} + 执行 pi_e 整个 epoch (T_e episodes) +``` + +## 关键设计选择 + +1. **几何增长 epoch**：T_e = 2^e + - 仅 O(log T) 个不同策略被部署 + - 切换成本保持 polylogarithmic + +2. **累积置信集**：每个 epoch 使用所有历史数据构建 + - 置信集单调收缩 + - 确保乐观性：真实参数以高概率在置信集内 + +3. **乐观策略选择**：在置信集内最大化价值 + - 探索-利用的经典乐观原则 + - 配合 [[eluder-dimension|Eluder 维度]]确保高效 + +## 策略切换的传输成本 + +在 [[posterior-lipschitz-adversary|Posterior-Lipschitz POMG]] 中，每次策略切换会触发对手响应变化。Epoch 结构确保： +- 仅 O(log T) 次切换 +- 每次切换的对手适应成本被 Lipschitz 常数控制 +- 总传输成本 O(m * H * log T)，不破坏 sqrt(T) 速率 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[policy-regret|Policy Regret]] +- [[eluder-dimension|Eluder Dimension]] diff --git a/concepts/evolution-probe.md b/concepts/evolution-probe.md new file mode 100644 index 0000000..b16e360 --- /dev/null +++ b/concepts/evolution-probe.md @@ -0,0 +1,76 @@ +--- +title: "进化探针 (Evolution Probe)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [agent, evolution, experience-accumulation, gene] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# 进化探针 (Evolution Probe) + +Wang et al. (2026) 中设计的第三个分析探针，检验策略基因是否为经验积累和迭代进化提供更好的基底。 + +## 设计意图 + +Gene 不仅是一次性控制——它能否作为**持续经验积累和测试时进化的载体**？ + +## 实验规模 + +1,260 次保留试验。 + +## 关键发现 + +### 载体格式效应 + +同一失败历史附加到不同载体上的效果： + +| 条件 | Avg. | Δ | +|------|------|-----| +| 无引导 | 51.0% | 0.0 | +| Gene | 54.0% | +3.0 | +| Gene + failure | 52.0% | +1.0 | +| Freeform + failure | 49.6% | -1.4 | +| Skill + failure | 47.8% | -3.2 | + +积累的经验**不是载体中性的**——结构化控制导向对象比文档导向或非结构化文本更好地保留附加信息。 + +### 可编辑结构 vs 展平散文 + +| 条件 | Avg. | Δ | +|------|------|-----| +| 无引导 | 51.0% | 0.0 | +| Gene (结构化) | 54.0% | +3.0 | +| Gene (展平散文, 相同内容) | 50.5% | -0.5 | + +可编辑结构**超越内容**本身有价值——将 Gene 展平为散文消除了其大部分优势。 + +### 失败信息编码 + +| 条件 | Avg. | Δ | +|------|------|-----| +| 无引导 | 49.8% | 0.0 | +| 仅失败警告 | 54.4% | +4.6 | +| 仅策略 | 52.3% | +2.5 | +| 策略优先 | 51.8% | +2.0 | +| 失败优先 | 50.5% | +0.7 | + +失败历史**蒸馏为独立紧凑警告**时最有效，而非与策略混合。朴素地将两者打包会削弱双方。 + +### CritPt 进化 + +见 [[evolution-probe|进化探针]] 中 CritPt 结果： +- Evolver + Gemini 3 Pro: 9.1% → 18.57% (+9.47pp) +- Evolver + Gemini 3.1 Pro: 17.7% → 27.14% (+9.44pp) + +## 核心教训 + +经验积累应**选择性而非加性**：压缩失败为聚焦警告、保持结构化可编辑性、避免附加性增长模糊控制信号。 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 包含完整分析 +- [[skill-probe|技能探针]] — 第一探针 +- [[gene-probe|基因探针]] — 第二探针 +- [[critpt|CritPt]] — 外部进化基准 +- [[experience-distillation|经验蒸馏]] — 压缩策略 diff --git a/concepts/execution-fidelity.md b/concepts/execution-fidelity.md new file mode 100644 index 0000000..22f3459 --- /dev/null +++ b/concepts/execution-fidelity.md @@ -0,0 +1,41 @@ +--- +title: "Execution Fidelity" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-safety, trajectory-audit, correctness] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# Execution Fidelity (L2) + +**执行忠实度**是 [[agent-harness-safety|Agent 骨架安全]]三层审计框架的第二层（L2），评估执行轨迹是否通过**有效的中间步骤**达成目标，而非仅检查最终输出 y 是否匹配参考答案。 + +## 两个评估维度 + +### Action Validity (AVS) +评估工具选择、参数和目标对象是否正确，冗余操作是否被避免： +- 工具选择是否合适？ +- 参数是否准确？ +- 目标资源是否在范围内？ +- 是否存在不必要的重复步骤？ + +### Checkpointed Task Completion (TCR) +从轨迹或环境状态可验证的任务里程碑，而非仅依赖最终输出： +- 每个检查点有独立权重 w_m 和评分 s_m +- 得分 = min(1, Σ w_m × s_m) +- 权重高的检查点对应关键子任务（如"成功查询数据库"） + +## L2 的独特价值 + +与 L1 [[boundary-compliance]] 不同，L2 关注的是**过程正确性**而非**权限合规**。一个轨迹可以： +- L1 ✓（所有操作都在权限内）但 L2 ✗（操作顺序错误、检查点未完成） +- L1 ✗（访问了越权资源）但 L2 ✓（任务客观上完成了） + +只有 L1 和 L2 **同时通过**，骨架执行才被认为是既安全又有效的。 + +## 实验发现 + +HarnessAudit 实验揭示了一个关键的反直觉现象：**任务完成能力与安全合规是负相关的**。Gemini 3.1 Pro 的任务完成率 (TCR) 并非最高，但凭借最强的安全合规获得了最高总体分；而 Claude Opus 4.6 的 TCR 更高，但安全指标明显更弱。这表明更强的任务能力并不自动转化为更可靠的执行过程。 + +L2 的评测采用混合协议：确定性匹配 + LLM-as-a-Judge（GPT-5.4），后者处理开放式的执行合理性判断。 diff --git a/concepts/execution-harness.md b/concepts/execution-harness.md new file mode 100644 index 0000000..ba3ffdc --- /dev/null +++ b/concepts/execution-harness.md @@ -0,0 +1,47 @@ +--- +title: "Execution Harness" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-harness, infrastructure, execution-engine] +sources: [[liu-auditing-agent-harness-safety]], [[agent-harness-engineering]] +--- + +# Execution Harness + +**执行骨架**（Execution Harness）是现代 LLM Agent 的底层运行时基础设施——它不是一个简单的 API wrapper，而是一个**策略约束的执行系统**，负责分解目标、分发工具、分配资源和路由消息。 + +## 核心功能 + +现代 Agent 骨架（OpenClaw、Claude Code、Codex）承担以下职责： +- **目标分解**：将用户目标拆分为子任务 +- **工具分发**：决定 Agent 可调用哪些工具 +- **资源分配**：控制对数据库、文件系统、API 的访问 +- **消息路由**：在多 Agent 之间传递信息和委托任务 +- **终止决策**：决定何时执行结束 + +## HarnessAudit 的形式化 + +[[harnessaudit|HarnessAudit]] 将执行骨架形式化为 [[policy-constrained-execution|策略约束执行系统]]： +``` +H := (A, T, R, Π, Φ, Σ) +``` + +其中核心安全相关的组件是： +- Π（权限策略）：工具和资源的访问控制 +- Φ（信息流策略）：Agent 间信息共享约束 +- Σ（协调协议）：任务委托和结果验证 + +## 安全意义 + +骨架是 Agent 安全的**天然边界**： +- 骨架控制 Agent 的可见工具面——限制了攻击面 +- 骨架记录所有工具调用和消息——提供了审计证据 +- 骨架执行在 Agent 之外——Agent 无法掩盖其行为 + +但骨架安全需要**主动设计**：当骨架仅关注任务完成而不实施执行级约束时，Agent 可以在返回正确答案的同时产生轨迹级安全违规。这就是 [[agent-harness-safety|Agent 骨架安全]] 关注的核心问题。 + +## 进化谱系 + +- [[code-as-harness]] → [[harness-as-policy]] → [[harness-as-action-verifier]] → HarnessAudit 的安全审计 +- 从"代码即运行环境"到"代码即策略约束"再到"策略约束可以被独立审计" diff --git a/concepts/expected-calibration-error.md b/concepts/expected-calibration-error.md new file mode 100644 index 0000000..e64db00 --- /dev/null +++ b/concepts/expected-calibration-error.md @@ -0,0 +1,44 @@ +--- +title: "预期校准误差 (Expected Calibration Error, ECE)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["uncertainty-quantification", "calibration", "metrics"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 预期校准误差 (Expected Calibration Error, ECE) + +**ECE**（Guo et al., 2017）是衡量模型概率预测校准质量的标准指标。它度量预测置信度与实际准确率之间的加权平均偏差。 + +## 形式化定义 + +将预测按置信度分为 B 个 bin： + +``` +ECE = sum_b (|B_b| / N) * |acc(B_b) - conf(B_b)| +``` + +- |B_b|/N：第 b 个 bin 中样本的比例权重 +- acc(B_b)：该 bin 中的实际准确率 +- conf(B_b)：该 bin 中的平均预测置信度 + +## 解读 + +- ECE → 0：完美校准（置信度 = 准确率） +- ECE 高：模型系统性过度自信或信心不足 +- 现代深度神经网络普遍校准不良（Guo et al., 2017） + +## 临床 AI 中的 ECE + +在 [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 中，端到端贝叶斯模型达到 ECE = 0.096，表示优秀的校准性能。良好的校准是 [[uncertainty-equity-gap|不确定性公平性差距]] 作为可靠公平性信号的先决条件——如果模型校准差，不确定性度量的公平含义将不可信。 + +## 相关方法 +- Temperature Scaling（后校准，Guo et al. 2017） +- [[bayesian-deep-learning|贝叶斯方法]]（内置校准） +- Reliability Diagram（校准可视化） + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[uncertainty-quantification|不确定性量化]] +- [[uncertainty-equity-gap|UEG]] diff --git a/concepts/experience-distillation.md b/concepts/experience-distillation.md new file mode 100644 index 0000000..53bde78 --- /dev/null +++ b/concepts/experience-distillation.md @@ -0,0 +1,52 @@ +--- +title: "经验蒸馏 (Experience Distillation)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [agent, experience-reuse, compression, gene] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# 经验蒸馏 (Experience Distillation) + +Wang et al. (2026) 中隐含的核心操作：将丰富的源经验（技能包、轨迹）压缩为紧凑的控制导向表示。 + +## 蒸馏映射 + +形式化：给定源经验 z（技能 s、轨迹集 H、或已验证的 Capsule C）： + +``` +g = psi(z), g in G +``` + +其中 psi 提取紧凑的控制导向表示。蒸馏不是简单的截断或摘要——它是对经验的**重新抽象**。 + +## 为什么蒸馏必要 + +过程技能包含大量文档导向材料（overview, API notes, examples, scripts），其中仅约 10-15% 提供有意义的控制价值。其余部分在推理时构成**信息过载**。 + +经验蒸馏的目标： +- 提高**信号密度**（每 token 的控制相关性） +- 明确**适用范围边界**（何时适用、何时不适用） +- 增强**失败显著性**（明确标注 AVOID 项） + +## 关键证据 + +1. **Skill-Workflow (+1.5pp)** 是技能包中唯一明确有用的部分——这恰好是最接近 Gene 策略层的内容 +2. **Skill-Overview (-4.7pp)** 是纯文档材料，强烈有害 +3. **匹配预算 Skill 片段**改善但仍低于 Gene——蒸馏不只是压缩 +4. **失败警告仅 (54.4%, +4.6pp)** 超过所有混合条件——蒸馏应选择性而非加性 + +## 实践启示 + +- 蒸馏应从**过程性内容**（workflow/strategy）而非描述性内容开始 +- **AVOID 项**（失败感知线索）是信号密度最高的信息 +- 朴素追加更多历史**不会**改善控制——选择性压缩才有 +- 蒸馏应保持**结构化可编辑性**，而非展平为散文 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 蒸馏的实证基础 +- [[strategy-gene|策略基因]] — 蒸馏的目标产物 +- [[gene-evolution-protocol|GEP]] — 蒸馏的协议化框架 +- [[procedural-skill|过程技能]] — 蒸馏的源材料 diff --git a/concepts/experience-representation.md b/concepts/experience-representation.md new file mode 100644 index 0000000..98f550e --- /dev/null +++ b/concepts/experience-representation.md @@ -0,0 +1,53 @@ +--- +title: "经验表示 (Experience Representation)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [agent, experience-reuse, representation, formalism] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# 经验表示 (Experience Representation) + +Wang et al. (2026) 将可复用经验视为**经验表示**：从先前问题解决中派生并在测试时重新引入以影响模型行为的外部化对象。 + +## 形式化 + +设 H = {tau_i} 为先前问题解决轨迹集。可复用经验表示为： + +``` +r = phi(H), r in R +``` + +其中 phi 将先前经验抽象到可复用表示空间 R。给定新任务 x，固定模型产生： + +``` +y ~ p_theta(y | x, r) +``` + +## 两种表示范式的对比 + +| 维度 | 过程技能 (Skill) | 策略基因 (Gene) | +|------|-----------------|----------------| +| 范式 | 文档导向 | 控制导向 | +| 优化目标 | 可读性、完整性、可维护性 | 信号密度、适用范围、失败显著性 | +| 典型规模 | ~2,500 tokens | ~230 tokens | +| 核心功能 | 教学、审查、传递 | 推理时行为控制 | +| 控制效应 | -1.1pp vs 基线 | +3.0pp vs 基线 | + +## 表示作为一阶因素 + +即使底层经验内容大致相同，**如何包装、结构化和暴露经验给模型**仍会产生实质性差异： +- 技能包的控制价值约 10x 稀释（2,500 → 230 tokens 的可用信号） +- Gene 在匹配预算下仍优于缩短的 Skill 片段 +- 重新添加文档材料到 Gene 通常降低性能 + +这表明**经验复用问题的核心不是"提供更多经验"，而是"如何编码经验"**。 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 核心对比 +- [[strategy-gene|策略基因]] — 控制导向表示 +- [[procedural-skill|过程技能]] — 文档导向表示 +- [[test-time-control|测试时控制]] — 表示的预期功能 +- [[experience-distillation|经验蒸馏]] — 从丰富源到紧凑表示的过程 diff --git a/concepts/exploratory-dynamics.md b/concepts/exploratory-dynamics.md new file mode 100644 index 0000000..0fa92fa --- /dev/null +++ b/concepts/exploratory-dynamics.md @@ -0,0 +1,54 @@ +--- +title: "探索动力学 (Exploratory Dynamics)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, exploration, stochastic-processes, continuous-control] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 探索动力学 (Exploratory Dynamics) + +探索动力学是 [[ticks-to-flows|Tiwari et al. (2026)]] 提出的**连续时间 RL 中的新型探索模型**——通过 [[stochastic-differential-equation|SDE]] 同时编码策略随机性和环境随机性。 + +## 核心 SDE + +``` +ds̃^π_t = (g(s̃_t) + h(s̃_t) π(s̃_t)) dt + h(s̃_t) dW'_t + σ(s̃_t) dW_t +``` + +区别传统加性噪声 `π(s_t) + W_t`： + +- `h(s_t) dW'_t`：**策略噪声**——噪声通过控制通道进入系统 +- `σ(s_t) dW_t`：**环境噪声**——环境固有随机性 + +## 关键定理 (Lemma 3.1) + +在 Lipschitz 条件下，以上 SDE 的解在分布上**等价于**一个更简洁的 SDE： + +``` +ds̃^π_t = (g + h·π) dt + sqrt(h^2 + σ^2) dW_t +``` + +这意味着两种噪声源在路径分布上是不可分辨的，但**在离散模拟中对状态-动作覆盖产生不同效果**。 + +## 与传统加性噪声的对比 + +| 属性 | 加性 Wiener 噪声 | 探索动力学 | +|------|------------------|-----------| +| 噪声结构 | `π(st) + W_t` | `h(st) dW'_t + σ(st) dW_t` | +| 确定性环境 (σ=0) | 无探索能力 | 仍有探索 | +| 状态-动作覆盖 | 平滑轨迹 | 随机跳跃 | +| 理论可处理性 | 高 | 需要 Lemma 3.1 简化 | + +## 在证明中的作用 + +探索动力学是 Lemma 4.2（值函数 PDE）和 Theorem 6.1（梯度时间状态变化）的基础——整个理论分析都在这一动力学模型上构建。 + +## 参考 + +- [[continuous-time-rl|连续时间 RL]] +- [[stochastic-differential-equation|SDE]] +- [[wiener-process|维纳过程]] +- [[ticks-to-flows|Ticks to Flows]] diff --git a/concepts/fading-memory.md b/concepts/fading-memory.md new file mode 100644 index 0000000..39b5a36 --- /dev/null +++ b/concepts/fading-memory.md @@ -0,0 +1,43 @@ +--- +title: "衰减记忆 (Fading Memory)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["multi-agent-rl", "online-learning", "memory-models"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# 衰减记忆 (Fading Memory) + +**Fading Memory** 是 [[minimax-policy-regret-pomg|Arora (2026)]] 中对有限记忆对手的扩展——允许对手有**无限但几何衰减**的记忆。 + +## 形式化 + +对手响应权重随 episode 距离指数衰减： + +``` +g^t = F(pi^t, gamma * pi^{t-1}, gamma^2 * pi^{t-2}, ...) +``` + +其中 gamma in (0, 1) 是衰减因子。 + +## 与有限记忆对比 + +| 有限记忆 | Fading Memory | +|---------|---------------| +| 只记住最近 m 步 | 记住所有历史但权重衰减 | +| 硬截断 | 软衰减 | +| O(sqrt(T * m)) | O(sqrt(T / (1-gamma))) | + +## 算法扩展 + +Epoch-based 乐观 MLE 的 horizon-adaptive 版本可以处理 fading memory 对手：传输成本分析中，旧 epoch 的影响按 gamma^间隔 衰减，总和仍为 O(1/(1-gamma))，不破坏 sqrt(T) 速率。 + +## 意义 + +Fading Memory 在有限记忆和完全无界记忆之间提供了一个平滑的中间地带——在实践中，大多数对手对近期行为的响应远强于对遥远过去的响应。 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[adaptive-adversary|Adaptive Adversary]] +- [[policy-regret|Policy Regret]] diff --git a/concepts/faithfulness-in-ai.md b/concepts/faithfulness-in-ai.md new file mode 100644 index 0000000..4ef5fbe --- /dev/null +++ b/concepts/faithfulness-in-ai.md @@ -0,0 +1,18 @@ +--- +title: "Faithfulness in AI" +type: concept +created: 2026-06-04 +tags: [faithfulness, hallucination, ai-safety, grounding] +--- + +# Faithfulness in AI（AI 忠实性） + +**定义**：AI 系统输出忠实于输入信息或客观事实的程度——即生成内容是否有据可依，而非凭空编造。 + +忠实性是 [[content-grounded-retrieval]] 和 [[hallucination-mitigation|幻觉抑制]] 的底层目标。 + +## 相关概念 + +- [[hallucination-mitigation]] — 幻觉抑制技术 +- [[content-grounded-retrieval]] — 内容锚定检索 +- [[sufficiency-check]] — 充分性检查作为忠实性闸门 diff --git a/concepts/feature-absorption.md b/concepts/feature-absorption.md new file mode 100644 index 0000000..bb26077 --- /dev/null +++ b/concepts/feature-absorption.md @@ -0,0 +1,52 @@ +--- +title: "特征吸收 (Feature Absorption)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [interpretability, sparse-autoencoder, failure-mode, phenomena] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 特征吸收 (Feature Absorption) + +特征吸收是 [[sparse-autoencoder|SAE]] 中层级概念学习的**失败模式**——父概念神经元未能对一个子概念的数据点激活，尽管该子概念在语义上属于父概念。 + +## 形式化 + +设 `C_i ⊂ C_j`（子概念 ⊆ 父概念）。理想情况下期望 `θ_{C_i} ⊂ θ_{C_j}`。 + +吸收的数学定义： + +``` +µ(C_i ∩ θ_{C_j}^c) > 0 +``` + +即父概念神经元 θ_{C_j} 在子概念 C_i 的正测度子集上未能激活。 + +## 根本原因 + +[[concept-learning|概念分离]]或近似的稀疏惩罚导致： + +- 激活子概念神经元 θ_{C_i} 已消耗稀疏预算 +- 同时激活父概念神经元 θ_{C_j} 增加稀疏成本 +- SAE 优化选择只激活子概念、跳过父概念 + +## 几何解释 + +从 [[geometric-sae-concepts|Zhang et al. (2026)]] 的框架： + +- 绝对门控下，父神经元 `H_j^+` 是半空间，本应覆盖子概念 +- 但相对门控（Top-K）下，子概念的数据点可能未被选入 Top-K +- 层级概念的维护会系统性地增加稀疏成本 + +## 意义 + +特征吸收暴露了**稀疏性假设与层级语义之间的结构性张力**——SAE 的稀疏约束天然不利于层级概念的学习。这暗示需要架构创新（如层级 SAE）来支持父子概念的共存。 + +## 参考 + +- [[feature-splitting|特征分裂]] +- [[feature-family|特征家族]] +- [[sparse-autoencoder|SAE]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/feature-family.md b/concepts/feature-family.md new file mode 100644 index 0000000..52a00ac --- /dev/null +++ b/concepts/feature-family.md @@ -0,0 +1,49 @@ +--- +title: "特征家族 (Feature Family)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [interpretability, sparse-autoencoder, phenomena] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 特征家族 (Feature Family) + +特征家族是 [[sparse-autoencoder|SAE]] 中**一组倾向于协同激活的神经元**——可能代表同一概念的不同方面或语义家族中的邻近概念。 + +## 形式化 + +一组特征 `θ₁, ..., θᵣ` 构成家族，若： + +``` +∩_{l=1}^{r} θ_l ≠ ∅ +``` + +即所有家族成员存在非平凡的共同激活区域。 + +## 为什么形成 + +从 [[geometric-sae-concepts|Zhang et al. (2026)]] 的几何视角： + +1. **[[feature-splitting|特征分裂]]的中间态**：尚未完全分裂的粗粒度概念 +2. **概念的多面性**：同一语义对象有多个可分离的方面 +3. **稀疏性下的协同编码**：多个稀疏特征组合表达一个不能由单个特征覆盖的概念 + +## 与层级概念的关系 + +特征家族与层级概念（hierarchical concepts）不同： + +- **层级概念**：`C_child ⊂ C_parent`（子集关系） +- **特征家族**：多个特征描述同一概念的不同维度（非包含关系） + +## 意义 + +特征家族揭示了 SAE 学习表征的**模块性（modularity）**——模型倾向于用多个独立但协同的特征来表示复杂概念，而非一个全能的"祖母细胞"。 + +## 参考 + +- [[feature-splitting|特征分裂]] +- [[feature-absorption|特征吸收]] +- [[sparse-autoencoder|SAE]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/feature-splitting.md b/concepts/feature-splitting.md new file mode 100644 index 0000000..e435b45 --- /dev/null +++ b/concepts/feature-splitting.md @@ -0,0 +1,48 @@ +--- +title: "特征分裂 (Feature Splitting)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [interpretability, sparse-autoencoder, phenomena] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 特征分裂 (Feature Splitting) + +特征分裂是 [[sparse-autoencoder|SAE]] 中最常见的经验现象之一——较小的 SAE 中的粗粒度神经元在较大的 SAE 中**分裂为多个更精细的语义子成分**。 + +## 形式化 + +若 θ 是粗神经元，θ₁,...,θᵣ 是分裂后的细粒度神经元： + +``` +θ ≈ ∪_{j=1}^{r} θ_j, 且 θ_j ∩ θ_l ≈ ∅ (j ≠ l) +``` + +近似不交性由稀疏约束保证：若分裂神经元大量重叠，数据会同时激活多个神经元，违反稀疏性。 + +## 必要条件 + +从 [[geometric-sae-concepts|Zhang et al. (2026)]] 的几何框架： + +- 概念必须**非凸到某个正程度**才能分裂（凸概念不可进一步分解） +- 需满足概念分离的几何条件：`Conv(C_j) ∩ Conv(N_j) = ∅` +- 更大的 SAE = 更多的超平面 = 更精细的区域划分能力 + +## 为什么重要 + +- **层级概念的自然涌现**："动物" → "哺乳动物" / "爬行动物" → ... +- **解释粒度可调**：SAE 大小控制特征粒度 +- **证明 SAE 学到的是"真实"结构**而非人工注入 + +## 注意 + +[[geometric-sae-concepts|Zhang et al. (2026)]] 证明特征分裂**不具有普遍性**：并非所有概念都能分裂为更细粒度。层级概念（如父子关系）在不改变 SAE 架构的情况下可能难以学习。 + +## 参考 + +- [[feature-absorption|特征吸收]] +- [[feature-family|特征家族]] +- [[sparse-autoencoder|SAE]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/fiber-of-parametrization.md b/concepts/fiber-of-parametrization.md new file mode 100644 index 0000000..8f65cf2 --- /dev/null +++ b/concepts/fiber-of-parametrization.md @@ -0,0 +1,47 @@ +--- +title: "参数化纤维 (Fiber of Parametrization)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["neuroalgebraic-geometry", "neural-networks", "identifiability"] +sources: ["[[relu-neuromanifolds-semi-algebraicity]]"] +--- + +# 参数化纤维 (Fiber of Parametrization) + +**参数化纤维** phi^{-1}(phi(u)) 是给定函数 f 的所有参数表示（权重）的集合——即[[parametrization-map|参数化映射]] Phi 的纤维。 + +## 形式化定义 + +对于 u in P（权重空间模缩放）： +``` +phi^{-1}(phi(u)) = { v in P | phi(v) = phi(u) } +``` + +纤维包含所有实现相同函数 f_u 的权重参数。 + +## 纤维大小与对称性 + +| 纤维大小 | 含义 | +|---------|------| +| = |Pr(d) 轨道| | 仅平凡对称性 — 在 [[honest-open-subset|honest 开子集]]内 | +| > |Pr(d) 轨道| | 存在[[hidden-symmetries-neural|隐藏对称性]] | +| 较大 | 参数冗余度高，可能影响优化 | + +## 几何意义 + +纤维的几何结构反映[[neuromanifold|神经流形]]的局部奇异性： + +- 纤维维度恒定 → 神经流形在该区域光滑 +- 纤维维度跳跃 → 神经流形的奇点 +- 非约化纤维 → 更深层的几何退化 + +## 商问题 + +神经流形 M_d 作为集合同构于商 P / E_phi。但在[[semi-algebraic-set|半代数范畴]]中，这个商**不一定存在**——[[relu-neuromanifolds-semi-algebraicity|Flinth et al. (2026)]] 证明了 ReLU 神经流形**不是**半代数商。 + +## 参考 +- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]] +- [[parametrization-map|Parametrization Map]] +- [[neuromanifold|Neuromanifold]] +- [[honest-open-subset|Honest Open Subset]] diff --git a/concepts/fisher-information-metric.md b/concepts/fisher-information-metric.md new file mode 100644 index 0000000..36692da --- /dev/null +++ b/concepts/fisher-information-metric.md @@ -0,0 +1,43 @@ +--- +title: "Fisher 信息度量 (Fisher Information Metric)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["information-geometry", "differential-geometry", "statistical-inference"] +sources: ["[[dead-directions-geometric-singular-learning]]"] +--- + +# Fisher 信息度量 (Fisher Information Metric) + +**Fisher 信息度量**是[[information-geometry|信息几何]]的核心对象，量化模型预测对参数移动的敏感度： + +``` +F(theta) = E_x[ ∂_theta log p_theta(x) · ∂_theta log p_theta(x)^T ] +``` + +## 几何直觉 + +- **大的 F 方向**：被数据紧密约束——移动参数 → 预测剧烈变化 +- **小的 F 方向**：数据约束弱——参数可自由变化 +- **零 F 方向（[[dead-direction|Dead Direction]]）**：参数变化不影响模型输出——Fisher 退化 + +## 泛化边界中的作用 + +Fisher 度量在以下公式中自然出现： +- Cramer-Rao 下界 +- 自然梯度下降 +- 模型选择准则（AIC, TIC 中的 Fisher 迹项） +- [[singular-learning-theory|SLT]] 中 RLCT 的计算 + +## 在深度网络中的退化 + +过参数化网络在解附近，Fisher 度量系统性降秩： +- 退化方向 = 不影响函数的参数方向 +- 这些方向构成连续奇异的"平台" +- Shirodkar (2026)：退化方向的 Fisher 衰减率编码了 [[kl-order|KL 阶]]信息 + +## 参考 +- [[dead-directions-geometric-singular-learning|Dead Directions]] +- [[information-geometry|Information Geometry]] +- [[dead-direction|Dead Direction]] +- [[singular-learning-theory|Singular Learning Theory]] diff --git a/concepts/five-axis-positional-encoding.md b/concepts/five-axis-positional-encoding.md new file mode 100644 index 0000000..7d57bd4 --- /dev/null +++ b/concepts/five-axis-positional-encoding.md @@ -0,0 +1,48 @@ +--- +title: "五轴位置编码 (Five-Axis Positional Encoding)" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, position-encoding, transformer, video-generation] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# 五轴位置编码 (Five-Axis Positional Encoding) + +Flex4DHuman 的核心技术创新——将标准 [[rotary-position-embedding|RoPE]] 从三维（时间, 高, 宽）扩展为五维位置编码。 + +## 定义 + +五轴位置编码是在自注意力机制中同时编码以下五个维度的位置信息： + +- **D_time = 16**: 离散时间帧索引（当前帧在序列中的位置） +- **D_view = 8**: 离散视角槽索引（标识不同相机视点） +- **D_SE(3) = 20**: 连续 SE(3) 相机几何编码 +- **D_h = 42**: 空间高度 +- **D_w = 42**: 空间宽度 + +总计注意力头维度 D = 128，与原始 Wan 2.1 保持一致。 + +## 工作机制 + +在 Wan 2.1 中，RoPE 维度分配为 (Dt, Dh, Dw) = (44, 42, 42)。Flex4DHuman 将时间轴容量 44 重新分配为三个子轴： + +``` +(Dtime, Dview, DSE(3), Dh, Dw) = (16, 8, 20, 42, 42) +``` + +- **时间帧编码** (16维)：区分不同时间步的 token +- **视角编码** (8维)：离散视角标识，排列不变性，使模型能泛化到任意数量的参考/目标视角 +- **SE(3) 编码** (20维)：连续相对相机位姿，通过 [[se3-relative-camera-encoding|SE(3) 相对相机编码]] 实现 + +## 关键特性 + +- **零额外参数**：不引入新的可学习权重，仅重新分配已有 RoPE 容量 +- **预训练继承**：利用 Wan 2.1 在运动数据上学习到的位置先验 +- **排列不变性**：离散视角编码支持任意顺序的输入视角 + +## 参考 + +- [[flex4dhuman|Flex4DHuman]] — 首次提出该编码方案 +- [[se3-relative-camera-encoding|SE(3) 相对相机编码]] — SE(3) 轴的具体实现 +- [[rotary-position-embedding|RoPE]] — 基础旋转位置编码 diff --git a/concepts/fixed-mean-gaussian-process.md b/concepts/fixed-mean-gaussian-process.md new file mode 100644 index 0000000..d475ddc --- /dev/null +++ b/concepts/fixed-mean-gaussian-process.md @@ -0,0 +1,47 @@ +--- +title: "固定均值高斯过程 (Fixed-Mean Gaussian Process)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [bayesian-deep-learning, uncertainty, gaussian-process, post-hoc] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 固定均值高斯过程 (Fixed-Mean Gaussian Process) + +FMGP 是 [[ortega-phd-thesis|Ortega (2026)]] 提出的**轻量级后处理不确定性校准方法**——在冻结的预训练网络上附加 GP 协方差结构。 + +## 核心思想 + +将预训练网络视为 GP 的**固定均值函数**： + +``` +f(x) ~ GP(μ_pretrained(x), k(x, x')) +``` + +- 均值 μ 由预训练网络提供（冻结，不再训练） +- 协方差 k 由 GP 核参数化（可学习） + +## 优势 + +- **极简**：仅需学习核参数，预训练网络完全不动 +- **校准**：GP 提供原则性的预测不确定性 +- **可扩展**：比完全 Bayesian 方法轻量得多 +- **兼容性**：可在任意预训练网络上附加 + +## 与 VaLLA 的互补 + +| 方法 | 校准来源 | 训练 | +|------|---------|------| +| [[variational-linearized-laplace-approximation|VaLLA]] | 权重后验 | 变分学习 Σ | +| FMGP | GP 协方差 | 学习核参数 | + +两者提供互补的不确定性量化策略。 + +## 参考 + +- [[variational-linearized-laplace-approximation|VaLLA]] +- [[bayesian-deep-learning|Bayesian 深度学习]] +- [[gaussian-process|高斯过程]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/flex-attention.md b/concepts/flex-attention.md new file mode 100644 index 0000000..f9851ca --- /dev/null +++ b/concepts/flex-attention.md @@ -0,0 +1,28 @@ +--- +title: "FlexAttention" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [attention, pytorch, placeholder] +sources: [] +--- + +# FlexAttention + +> PyTorch 的可编程注意力 API（Dong et al., 2024），允许传入自定义注意力掩码，区别于 FlashAttention-2 的固定掩码模式。 + +## 核心特性 + +- 支持自定义 attention mask（BlockMask） +- 编程模型：用 PyTorch 代码描述注意力模式，自动编译为高效 kernel +- 在 [[goru-one-pass-to-reason-2025|One-Pass to Reason]] 中被用作关键实现后端 + +## 与 FlashAttention 的关系 + +[[flash-attention|FlashAttention-2]] 速度快但不支持自定义掩码。FlexAttention 提供掩码灵活性，速度略慢（约 15–20%），但在需要自定义注意力模式的场景（如 [[block-sparse-attention|分块稀疏注意力]]）中是不可替代的。 + +## 相关 + +- [[flash-attention]] +- [[block-sparse-attention]] +- [[goru-one-pass-to-reason-2025|One-Pass to Reason]] diff --git a/concepts/formal-concept-analysis.md b/concepts/formal-concept-analysis.md new file mode 100644 index 0000000..44f9b79 --- /dev/null +++ b/concepts/formal-concept-analysis.md @@ -0,0 +1,53 @@ +--- +title: "形式概念分析 (Formal Concept Analysis)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, lattice-theory, interpretability, formal-methods] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 形式概念分析 (Formal Concept Analysis) + +FCA（Ganter et al., 1999）是一种**从二元关系导出概念层级**的数学框架，在 [[geometric-sae-concepts|Zhang et al. (2026)]] 中被用于组织 SAE 中概念-神经元的多对多关系。 + +## 形式上下文 + +给定： +- **对象集** G（在 SAE 场景中 = 人类概念 C） +- **属性集** M（在 SAE 场景中 = SAE 神经元 N） +- **关系** `R ⊆ G × M`（概念-神经元关联） + +## 推导算子 + +从关系 R 自然导出两个 Galois 连接： + +- **意图（intent）**：给定概念集 `A ⊆ C`，找出所有共同激活的神经元 + ``` + A' = {n ∈ N : ∀c ∈ A, (c,n) ∈ R} + ``` +- **外延（extent）**：给定神经元集 `B ⊆ N`，找出它们共同表征的概念 + ``` + B' = {c ∈ C : ∀n ∈ B, (c,n) ∈ R} + ``` + +## 形式概念与概念格 + +一个**形式概念** (A, B) 满足 `A' = B` 且 `B' = A`。所有形式概念按集合包含关系形成[[concept-lattice|概念格（concept lattice）]]。 + +## 在 SAE 中的应用 + +- **概念学习** = 从 C 找 M（正向映射 f） +- **神经元解释** = 从 M 描述 C（反向映射 g） + +FCA 揭示了两者**不必一致**： +- f 可能是满射（多个概念映射到同一神经元 → 多义性） +- g 可能是一对多（同一神经元指代多个概念） +- f 和 g 的多对多结构形成了层级化的[[concept-lattice|概念格]] + +## 参考 + +- [[concept-lattice|概念格]] +- [[geometric-sae-concepts|几何框架论文]] +- [[polysemanticity|多义性]] diff --git a/concepts/freetimegs.md b/concepts/freetimegs.md new file mode 100644 index 0000000..76f5f85 --- /dev/null +++ b/concepts/freetimegs.md @@ -0,0 +1,28 @@ +--- +title: "FreeTimeGS" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, 3d-reconstruction, gaussian-splatting, dynamic-scenes] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# FreeTimeGS + +FreeTimeGS（Wang et al., CVPR 2025）是一种动态场景重建方法，可从多视角视频中重建 [[4d-gaussian-splatting|4D 高斯泼溅]] 表示。 + +## 核心特性 + +- 从同步多视角视频中重建动态高斯泼溅 +- 支持任意时间和视角的自由视点渲染 +- 被 [[flex4dhuman|Flex4DHuman]] 用作下游 4D 重建模块 + +## 在 Flex4DHuman 管线中的位置 + +[[monocular-video-to-4d|单目视频到 4D]] 管线的第三步，接收 Flex4DHuman 生成的同步多视角视频，输出可交互的动态高斯泼溅模型。 + +## 参考 + +- [[flex4dhuman|Flex4DHuman]] +- [[4d-gaussian-splatting|4D 高斯泼溅]] +- [[monocular-video-to-4d|单目视频到 4D]] diff --git a/concepts/function-space-modeling.md b/concepts/function-space-modeling.md new file mode 100644 index 0000000..9465869 --- /dev/null +++ b/concepts/function-space-modeling.md @@ -0,0 +1,41 @@ +--- +title: "函数空间建模 (Function-Space Modeling)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [bayesian-deep-learning, gaussian-process, representation-learning] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 函数空间建模 (Function-Space Modeling) + +函数空间建模是 [[ortega-phd-thesis|Ortega (2026)]] 论文的方法论统一视角——在**函数空间**（而非参数空间）中定义和优化分布。 + +## 参数空间 vs 函数空间 + +| 维度 | 参数空间 | 函数空间 | +|------|---------|---------| +| 分布定义 | p(θ) 在 R^d 上 | p(f) 在函数空间上 | +| 先验 | 对参数的先验 | 对函数的先验（如 GP） | +| 不确定性 | 权重的后验方差 | 预测的校准不确定性 | +| 过参数化 | 多对一映射问题 | 自然规避 | + +## 在论文中的三条应用线 + +1. **[[deep-variational-implicit-process|DVIP]]**：直接在函数空间中定义深度隐式过程的先验和后验 +2. **[[variational-linearized-laplace-approximation|VaLLA]]**：在 NTK 特征空间（函数空间）中构建 Laplace 后验 +3. **[[fixed-mean-gaussian-process|FMGP]]**：在函数空间中以 GP 协方差校准确定性预测 + +## 核心优势 + +- **表达力**：函数空间比参数空间更丰富 +- **校准**：函数空间中分布的自然解释 = 预测不确定性 +- **理论**：PAC-Bayesian 界在函数空间中更自然 + +## 参考 + +- [[deep-variational-implicit-process|DVIP]] +- [[implicit-processes|隐式过程]] +- [[bayesian-deep-learning|Bayesian 深度学习]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/functional-input-neural-networks.md b/concepts/functional-input-neural-networks.md new file mode 100644 index 0000000..9e3c5d4 --- /dev/null +++ b/concepts/functional-input-neural-networks.md @@ -0,0 +1,43 @@ +--- +title: "函数输入神经网络 (Functional Input Neural Network)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [neural-networks, functional-analysis, approximation-theory, infinite-dimensions] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# 函数输入神经网络 (Functional Input Neural Network) + +FNN 将经典神经网络从**有限维欧氏空间推广到无限维空间**——输入定义在无穷维[[infinite-dimensional-manifolds|加权流形]]上，输出落在 [[banach-space|Banach 空间]]中。 + +## 数学形式 + +``` +NN(x) = Σ_{k=1}^h c_k · σ(ℓ_k(x)), x ∈ M +``` + +- `ℓ_k : M → R`：连续线性泛函（第一层"权重"被泛函替代） +- `σ : R → R`：标量非线性激活函数（如 sigmoid、tanh） +- `c_k ∈ Y`：线性读出系数（输出在 Banach 空间 Y 中） +- h：隐藏神经元数 + +## 与经典 NN 的区别 + +| 维度 | 经典 NN | FNN | +|------|--------|-----| +| 输入空间 | R^n | 无限维流形 M | +| 第一层 | 矩阵乘法 Wx | 线性泛函 ℓ(x) | +| 输出空间 | R^m | Banach 空间 Y | +| 隐藏层宽度 | 有限 | 有限（标量激活） | + +## 为什么需要加权设置 + +随机过程的实现**几乎必然不落在紧集中**。加权 UAT 通过权重函数 Ψ 控制函数在大紧集外的增长，确保全局逼近——这对 SDE 解的逼近至关重要。 + +## 参考 + +- [[universal-approximation-theorem|UAT]] +- [[infinite-dimensional-manifolds|无限维流形]] +- [[weighted-uat-manifolds|论文原文]] diff --git a/concepts/future-commit-cleanup.md b/concepts/future-commit-cleanup.md new file mode 100644 index 0000000..a319677 --- /dev/null +++ b/concepts/future-commit-cleanup.md @@ -0,0 +1,40 @@ +--- +title: "Future-Commit 清理 (Future-Commit Cleanup)" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [benchmark, evaluation, fairness] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# Future-Commit 清理 (Future-Commit Cleanup) + +## 定义 + +Future-Commit Cleanup 是在 SWE-bench 风格评测中，移除 Docker 镜像中 base_commit 之后的可达 Git 历史的操作。如果不清理，agent 可以通过 `git log` 或 `git show` 检视未来的修复提交，导致**信息泄露**，破坏 patch-based 评测的公正性。 + +## 为什么重要 + +Claw-SWE-Bench 的非 Python 实例来自 SWE-bench-Multilingual，其 Docker 镜像可能暴露 base_commit 之后的提交。如果不处理： +- Agent 可以"作弊"——看到正确答案 +- Resolved Rate 被人为抬高 +- 不同模型对信息泄露的敏感度不同，导致比较不公平 + +## 实验证据 + +在 OpenClaw × 9 模型的清理前后对比中： +- Pass@1 在清理后**从不上涨**（验证了信息泄露假设） +- Claude Opus 4.7 下降最多：84.7% → 76.7%（**−8.0 pp**） +- Kimi K2.6 下降 5.0 pp +- Qwen 3.6-flash 下降 2.0 pp +- GPT 5.5、MiniMax M2.7、Seed 2.0-mini 仅下降约 1 pp + +**关键洞察:** 不同模型对信息泄露的利用程度不同——某些模型更依赖"看到未来"来解决问题。 + +## 实现方式 + +Runner 在 workspace 准备阶段移除 base_commit 之后的可达 Git 提交，使 agent 仅能在 issue 的历史边界内阅读、编辑和运行代码。 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[patch-based-evaluation|Patch-Based Evaluation]] diff --git a/concepts/gaussian-process.md b/concepts/gaussian-process.md new file mode 100644 index 0000000..4832cd5 --- /dev/null +++ b/concepts/gaussian-process.md @@ -0,0 +1,45 @@ +--- +title: "高斯过程 (Gaussian Process)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [bayesian, stochastic-processes, kernel-methods, gaussian] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 高斯过程 (Gaussian Process) + +GP 是 Bayesian 机器学习的**核心非参数模型**——直接在函数空间上定义高斯分布先验。 + +## 定义 + +``` +f ~ GP(m(x), k(x, x')) +``` + +- `m(x) = E[f(x)]`：均值函数 +- `k(x, x') = Cov(f(x), f(x'))`：协方差/核函数 + +有限点集上：`f(X) ~ N(m(X), K(X,X))` + +## 关键性质 + +- **非参数**：模型容量随数据增长（无固定参数数量） +- **解析后验**：观察到 (X,y) 后，f(x*) 的后验有封闭解 +- **校准不确定性**：预测方差 = 后验方差，天然校准 +- **核函数决定一切**：光滑性、周期性等由核编码 + +## 在深度学习中的应用 + +- **[[deep-gaussian-process|深度 GP]]**：层次化 GP 组合 +- **[[fixed-mean-gaussian-process|FMGP]]**：冻结 DNN 均值 + GP 协方差 +- **NTK 极限**：无限宽 NN ~ GP（[[neural-tangent-kernel|NTK]]） +- **校准**：GP 后验提供原则性不确定性 + +## 参考 + +- [[deep-gaussian-process|深度 GP]] +- [[fixed-mean-gaussian-process|FMGP]] +- [[neural-tangent-kernel|NTK]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/gene-bench.md b/concepts/gene-bench.md new file mode 100644 index 0000000..8329bd3 --- /dev/null +++ b/concepts/gene-bench.md @@ -0,0 +1,53 @@ +--- +title: "Gene-Bench" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [benchmark, evaluation, scientific-code, agent] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# Gene-Bench + +Wang et al. (2026) 构建的 45 场景科学代码求解基准，用于评估经验表示作为测试时控制信号的效果。 + +## 特征 + +- **45 个科学计算场景**，涵盖谱学分析、蛋白质解析、地震数据处理、气候归因、库存优化等 +- **不同检查点粒度**：从低粒度的端到端任务到高粒度的多步任务（每个场景 1-15 个检查点） +- **检查点评分**：每场景 checkpoint-based pass rate（通过检查点数/总检查点数），而非二进制成功/失败 +- **执行环境**：Python 程序沙箱，120 秒超时 + +## 实验配置 + +- 模型：Gemini 3.1 Pro Preview 和 Gemini 3.1 Flash Lite Preview +- 推理设置：T=0.05，最大输出 16,384 tokens +- 总试验数：4,590（保留） +- 任务描述与控制表示分别注入 + +## 代表场景 + +| 场景 | 类型 | 检查点数 | +|------|------|---------| +| S012_uv_spectroscopy | UV-Vis 光谱峰检测 | 12 | +| S005_protein_parse | 蛋白质解析 | 12 | +| S033_exoplanet_transit | 系外行星凌星分析 | 10 | +| S026_earthquake_catalog | 地震目录处理 | 14 | +| S101_climate_attribution | 气候归因 | 12 | +| S106_seismic_denoise | 地震信号去噪 | 10 | +| S113_inventory_reorder | 库存优化 | 11 | + +完整列表见论文 Figure 2。 + +## 三类探针 + +Gene-Bench 上运行三类分析探针： +- [[skill-probe|技能探针]] — 1,440 试验 +- [[gene-probe|基因探针]] — 1,890 试验 +- [[evolution-probe|进化探针]] — 1,260 试验 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 构建论文 +- [[critpt|CritPt]] — 外部进化验证基准 +- [[gene-evolution-protocol|GEP]] — 基准的协议框架 diff --git a/concepts/gene-evolution-protocol.md b/concepts/gene-evolution-protocol.md new file mode 100644 index 0000000..be52b3a --- /dev/null +++ b/concepts/gene-evolution-protocol.md @@ -0,0 +1,53 @@ +--- +title: "基因进化协议 (GEP)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [agent, protocol, experience-reuse, evolution, representation] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# 基因进化协议 (Gene Evolution Protocol, GEP) + +Wang et al. (2026) 引入的协议层，将策略基因规范化为结构化、可进化的经验表示对象。 + +## 设计哲学 + +GEP 满足自由文本片段无法可靠实现的三个需求： +1. **稳定边界和规范内部结构** — 使经验成为显式对象而非非结构化文本 +2. **可比较和可操作** — 支持匹配、替换、修正、组合和验证 +3. **可进化** — 成功适应可积累、继承、修正和审计 + +## 对象层次 + +GEP 定义三层对象：**O = G ∪ C ∪ E** + +| 对象 | 角色 | 含义 | +|------|------|------| +| **Gene (G)** | 控制单元 | 原子能力单元，最小可复用经验表示，~230 tokens | +| **Capsule (C)** | 验证执行单元 | 记录基因在具体任务中的实例化和验证结果 | +| **Event (E)** | 进化记录 | 不可变日志，记录协议相关的状态转换（突变、修复、验证） | + +### Gene 的协议化 + +原始基因通过规范化映射转化为协议兼容形式：`g_tilde = Gamma(g), g_tilde in G` + +GEP gene 操作化字段：type, schema_version, id, signals_match, summary, strategy, constraints, validation, asset_id + +### Capsule 结构 + +Capsule 记录：任务签名 q、使用的基因集 G_kappa、执行轨迹 T_kappa、观察结果 o_kappa、验证记录 V_kappa、血统指针 l_kappa + +### Event 结构 + +Event 记录：事件类型、运行标识符、源/目标资产、触发信号、变异意图、差异、验证结果和时间戳 + +## 协议循环 + +GEP 通过 **trial → validation → solidification** 循环运作。成功执行路径固化为 Capsule，可进一步蒸馏为新 Gene。 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 提出论文 +- [[strategy-gene|策略基因]] — GEP 的核心对象 +- [[gene-probe|基因探针]] — 结构化形式 vs 展平散文的比较 diff --git a/concepts/gene-probe.md b/concepts/gene-probe.md new file mode 100644 index 0000000..58d442d --- /dev/null +++ b/concepts/gene-probe.md @@ -0,0 +1,66 @@ +--- +title: "基因探针 (Gene Probe)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [agent, analysis, evaluation, gene] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# 基因探针 (Gene Probe) + +Wang et al. (2026) 中设计的第二个分析探针，检验策略基因是否仅是更短的提示，还是对可复用经验真正更好的表示。 + +## 设计意图 + +Gene 的优势能否完全归因于 token 预算？还是它代表了一种**本质上不同的经验表示方式**？ + +## 实验规模 + +1,890 次保留试验。 + +## 关键发现 + +### 渐进构建 + +从无引导到完整 Gene 的构建过程显示，增益**不遵循简单的 token 预算趋势**： + +| 条件 | Avg. | Δ | +|------|------|-----| +| 无引导 | 51.0% | 0.0 | +| 仅关键词 | 53.5% | +2.5 | +| 关键词+摘要 | 51.0% | 0.0 | +| 关键词+摘要+策略 (完整 Gene) | 54.0% | +3.0 | + +增益仅在表示达到**策略层**时出现。 + +### 鲁棒性测试 + +- **错误算法**: 48.8% (-5.2pp) — 内容破坏严重 +- **错误领域**: 49.4% (-4.6pp) — 同上 +- **逆序优先级**: 52.8% (-1.2pp) — 结构变形影响小 +- **过度约束**: 55.9% (+1.9pp) — 甚至优于清洁版 + +Gene 对**语义破坏敏感**但对**结构变形鲁棒**——不绑定于特定表面形式。 + +### 添加文档材料 + +- Gene + API notes: 51.5% (vs Gene 54.0%) +- Gene + examples: 52.0% (vs Gene 54.0%) + +重新添加文档材料**通常稀释而非补充** Gene 的控制效果。 + +### 多 Gene 组合 + +- 单一 Gene: 54.0% (+3.0pp) +- 两个互补 Gene: 44.9% (-6.1pp) +- 两个冲突 Gene: 53.2% (+2.2pp) + +互补组合比冲突组合更有害——多控制对象竞争注意力，模糊控制焦点。 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 包含完整分析 +- [[skill-probe|技能探针]] — 对比分析 +- [[strategy-gene|策略基因]] — 被分析的对象 +- [[bounded-reuse|有界复用]] — 多 Gene 组合揭示的复用边界 diff --git a/concepts/generalization-bounds.md b/concepts/generalization-bounds.md new file mode 100644 index 0000000..e90f6c2 --- /dev/null +++ b/concepts/generalization-bounds.md @@ -0,0 +1,53 @@ +--- +title: "泛化界 (Generalization Bounds)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [theory, generalization, learning-theory] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 泛化界 (Generalization Bounds) + +泛化界是学习理论的中心问题——**量化模型在训练数据外的预期性能**。[ortega-phd-thesis|Ortega (2026)] 通过 [[pac-bayesian-bounds|PAC-Bayesian]] 和大偏差理论提供了统一的泛化界框架。 + +## 基本形式 + +``` +L_test ≤ L_train + complexity_penalty(n, P, δ) +``` + +其中 complexity_penalty 取决于： +- 样本量 n +- 假设空间复杂度（先验 P） +- 置信度 δ + +## 经典界的困境 + +传统界（VC 维、Rademacher 复杂度）在深度学习中**失效**： +- 过参数化模型 VC 维 ≈ ∞ → 界退化为平凡 +- 插值区间（L_train = 0）界无意义 + +## 论文中的突破：PAC-Chernoff 界 + +Ortega 的 PAC-Chernoff 界： + +- 基于**大偏差理论**（非渐进） +- 在插值区间仍提供非平凡界 +- 分布依赖（不假设 i.i.d.） +- 对 [[double-descent|双下降]] 提供定量解释 + +## 三种泛化机制的统一 + +| 机制 | 在界中的体现 | +|------|------------| +| 多样性 | 降低方差项 | +| 光滑性 | 放大率函数（集中更强） | +| 随机性 | SGD 噪声 → 隐式 KL 正则化 | + +## 参考 + +- [[pac-bayesian-bounds|PAC-Bayesian 界]] +- [[double-descent|双下降]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/generative-recommendation.md b/concepts/generative-recommendation.md new file mode 100644 index 0000000..7148b17 --- /dev/null +++ b/concepts/generative-recommendation.md @@ -0,0 +1,38 @@ +--- +title: "生成式推荐 (Generative Recommendation)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [recommendation, generative-model, paradigm] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# 生成式推荐 (Generative Recommendation) + +> 将推荐任务建模为序列生成问题，用生成式模型直接预测下一个 item 的推荐范式。 + +## 定义 + +生成式推荐将推荐重新表述为序列生成：给定用户历史行为序列，模型直接生成下一个推荐 item（以 [[itemic-tokens|itemic token]] 形式）。这与传统推荐（embedding 匹配 + top-K 检索）形成根本差异。 + +## 核心思想 + +- **统一生成框架**：将召回、排序、重排统一为一个端到端生成过程 +- **Scaling 优势**：像 LLM 一样，模型和数据的扩展带来持续性能提升 +- **跨域泛化**：生成式模型天然支持跨域推荐 + +## 代表工作 + +- [[onerec|OneRec 系列]]（快手）：工业级生成式推荐，多业务线部署 +- 在短视频、直播、广告、电商等场景验证 + +## 核心挑战 + +- **推理能力缺失**：纯 item token 序列无法支撑 [[chain-of-thought|CoT]] 推理 +- **[[itemic-text-alignment|语义对齐]]**：item token 与自然语言的跨模态对齐 + +## 参考 + +- [[onerec|OneRec]] +- [[onereason|OneReason]] +- [[itemic-tokens|Itemic Token]] diff --git a/concepts/georg-cantor.md b/concepts/georg-cantor.md new file mode 100644 index 0000000..abb7bf2 --- /dev/null +++ b/concepts/georg-cantor.md @@ -0,0 +1,42 @@ +--- +title: "格奥尔格·康托尔 (Georg Cantor)" +created: 2026-06-07 +updated: 2026-06-07 +type: concept +tags: [数学家, 集合论, 无穷, 19世纪数学] +--- + +# 格奥尔格·康托尔 (Georg Cantor, 1845–1918) + +德国数学家，集合论创始人，首次系统研究无穷并证明存在不同大小的无穷。 + +## 生平 + +- 1845年出生于俄罗斯圣彼得堡 +- 11岁随家迁往德国 +- 在柏林大学求学，后长期在哈雷大学工作 +- 与 [[leopold-kronecker|克罗内克尔]] 的冲突深刻影响了他的职业生涯 +- 晚年深受抑郁症困扰，1918年去世 + +## 主要贡献 + +- **1872年**：与 [[richard-dedekind|狄德金]] 各自独立发表实数定义 +- **1874年**：发表里程碑论文，证明实数不可数，建立 [[infinity-hierarchy|无穷层级体系]] +- **集合论**：创立现代数学的通用语言——[[set-theory-history|集合论]] +- **对角线论证**：提出著名的对角线方法，证明实数多于整数 + +## 争议 + +2025年新发现的信件证明，康托尔1874年论文中 [[algebraic-numbers-countability|代数数可数性]] 的证明实际上来自狄德金，而康托尔刻意抹去了合作痕迹（参见 [[cantor-stole-infinity|窃取无穷的数学家]]）。这是 [[mathematical-priority-disputes|数学优先权争议]] 中的经典案例。 + +## 历史评价 + +尽管存在署名争议，康托尔对实数不可数性的证明（第二个定理）是他独立完成的，这一发现真正开启了无穷的数学研究。他被公认为史上最伟大的数学家之一。 + +## 相关条目 + +- [[richard-dedekind|里夏德·狄德金]] +- [[infinity-hierarchy|无穷层级体系]] +- [[countable-uncountable-infinity|可数与不可数无穷]] +- [[set-theory-history|集合论史]] +- [[cantor-stole-infinity|窃取无穷的数学家]] diff --git a/concepts/granger-causality-tpp.md b/concepts/granger-causality-tpp.md new file mode 100644 index 0000000..ca38399 --- /dev/null +++ b/concepts/granger-causality-tpp.md @@ -0,0 +1,60 @@ +--- +title: "Granger 因果发现 (Granger Causality in TPP)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, causal-discovery, granger-causality, hawkes] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# Granger 因果发现 (Granger Causality in TPP) + +Granger 因果关系在 TPP 上下文中指：如果事件类型 k' 的过去信息对预测事件类型 k 的未来发生速率有显著贡献，则 k' Granger-causes k。 + +## 数学基础 + +在 K 变量的 [[hawkes-process|Hawkes 过程]] 中： + +``` +lambda*_k(t) = mu_k + sum_{k'=1}^K sum_{t_n < t, k_n=k'} phi_{k,k'}(t - t_n) +``` + +**关键等价关系**：`phi_{k,k'}(·) = 0` 当且仅当 k' 对 k 没有 Granger 因果影响。 + +因此，估计触发函数 `phi_{k,k'}` 等价于学习因果图。 + +## 两大方法体系 + +### 约束法 (Constraint-based) + +通过统计检验剪枝伪连接： + +- 条件独立检验：测试 k' 的历史是否在给定其他变量时仍对 k 有显著预测力 +- Runge et al. (2019)：通用离散时间框架 +- Mogensen (2020)：扩展至连续时间域 + +### 评分法 (Score-based) + +通过优化带稀疏正则的目标函数学习因果结构： + +- **Group sparsity** (Xu et al., 2016)：对 `phi_{k,k'}` 组施加稀疏性约束 +- **核范数 + L1** (Zhou et al., 2013c)：双正则化 +- **MDL/MML** (Jalaldoust et al., 2022)：基于数据压缩原理的结构选择，可融合先验知识 +- **Cumulant matching** (Achab et al., 2018)：利用累积量解析形式加速推断，无需估计触发函数 + +## 核心应用 + +| 领域 | 事件类型 | 因果问题 | +|------|---------|---------| +| 神经科学 | 神经元脉冲 | 功能连接（哪些神经元驱动哪些？） | +| 金融 | 买卖单 | "买"是否引发"卖"？ | +| AI 运维 | 系统事件 | 故障根因定位 | +| 医疗 | 症状/用药 | 药物交互作用 | +| 网络安全 | 安全警报 | 攻击模式分析 | + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[hawkes-process|Hawkes 过程]] +- [[marked-temporal-point-process|标记 TPP]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/gumbel-softmax.md b/concepts/gumbel-softmax.md new file mode 100644 index 0000000..c1265c3 --- /dev/null +++ b/concepts/gumbel-softmax.md @@ -0,0 +1,50 @@ +--- +title: "Gumbel-Softmax 重参数化" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, technique, gradient-estimation] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# Gumbel-Softmax 重参数化 + +Gumbel-Softmax 是一种**将离散采样转化为可微操作**的重参数化技巧，在 [[latent-reasoning|潜在推理]] RL 中用于为连续表征引入可微的随机性。 + +## 原理 + +标准 categorical 采样 `v ~ Categorical(logits)` 是不可微的（argmax 操作）。Gumbel-Softmax 通过 Gumbel 噪声和温度参数构造一个连续松弛： + +``` +y_i = exp((log pi_i + g_i) / tau) / sum_j exp((log pi_j + g_j) / tau) +``` + +其中 `g_i ~ Gumbel(0, 1)`，`tau` 是温度参数。 + +当 `tau → 0` 时，`y` 趋近于 one-hot（真正的离散采样）；当 `tau > 0` 时，`y` 是可微的连续向量。 + +## 在潜在推理中的应用 + +在潜在推理 RL 的 [[reparameterization-exploration|重参数化探索]] 路线中，Gumbel-Softmax 用于： + +1. **Soft token 构造**：从 logits 分布中采样近似的概率加权 embedding +2. **梯度估计**：允许 RL 梯度信号通过 soft token 回传 +3. **探索引入**：Gumbel 噪声在连续表征中引入了可控随机性 + +## 与 TARPO 的对比 + +| 维度 | Gumbel-Softmax 路线 | [[tarpo|TARPO]] 路线 | +|------|---------------------|---------------------| +| 随机性类型 | 表征级（向量内部） | 结构级（模式间切换） | +| 可微性 | 可微（重参数化） | 不可微（REINFORCE） | +| 引入位置 | 每个 soft token 内部 | 每个 token 步的模式选择 | + +TARPO 论文指出两者的结合（路由探索 + 重参数化 soft token）是有前景的未来方向。 + +## 参考 + +- [[reparameterization-exploration|重参数化探索]] +- [[soft-token]] +- [[latent-reasoning|潜在推理]] +- [[tarpo|TARPO]] diff --git a/concepts/hallucination-mitigation.md b/concepts/hallucination-mitigation.md new file mode 100644 index 0000000..90ef02b --- /dev/null +++ b/concepts/hallucination-mitigation.md @@ -0,0 +1,39 @@ +--- +title: "Hallucination Mitigation in LLM Systems" +type: concept +created: 2026-06-04 +tags: [hallucination, llm, safety, faithfulness] +--- + +# Hallucination Mitigation（幻觉抑制） + +**定义**：在 LLM 系统中抑制模型生成不忠实于输入或事实的信息的一组技术和方法。 + +## 方法分类 + +### 1. 检索锚定 +- [[rag|RAG]]：通过外部检索提供事实基础 +- [[content-grounded-retrieval]]：严格限定于提供的内容 + +### 2. 推理闸门 +- [[sufficiency-check|充分性检查]]：评估证据是否充足后再生成 +- Self-Consistency：多路径采样投票 + +### 3. 训练时抑制 +- [[rlhf|RLHF]]：通过人类偏好对齐减少编造 +- [[dpo|DPO]]：直接偏好优化 +- Factuality tuning：事实性微调 + +### 4. 推理时控制 +- 约束解码（constrained decoding） +- 引用强制（citation enforcement） + +## IntrAgent 的贡献 + +[[intragent|IntrAgent]] 的 [[sufficiency-check|充分性检查]] 属于**推理闸门**类——在生成最终答案前显式评估信息充分性。与 RAG 的隐式可靠性不同，这是一个显式的质量控制步骤。 + +## 相关概念 + +- [[sufficiency-check]] — 充分性检查作为幻觉抑制闸门 +- [[content-grounded-retrieval]] — 内容锚定抑制幻觉 +- [[faithfulness-in-ai]] — AI 忠实性 diff --git a/concepts/hard-token.md b/concepts/hard-token.md new file mode 100644 index 0000000..7359128 --- /dev/null +++ b/concepts/hard-token.md @@ -0,0 +1,45 @@ +--- +title: "Hard Token" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [tokenization, generation] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# Hard Token + +Hard token 是标准自回归语言模型中**离散 token 生成**的基本单元——从词表中采样单个 token 并输出其 embedding。 + +## 定义 + +给定 logits 分布 `π_θ(·|s_t)`，hard token 选自词表 V： + +``` +v_t ~ π_θ(·|s_t)， u_hard = E(v_t) +``` + +这是所有标准 LLM 推理的基本操作。 + +## 特性 + +- **离散性**：天然具有采样随机性，支持 RL 中的策略探索 +- **信息瓶颈**：高维隐藏状态被坍缩为单个 token，损失信息容量 +- **人类可读**：可被直接解释和检查 +- **序列化**：每个推理步骤产生一个可读 token + +## 与 Soft Token 的关系 + +Hard token 和 [[soft-token]] 代表了推理中表达力与随机性之间的 trade-off： +- Hard token：随机性好，但信息容量有限 +- Soft token：表达力强，但天然确定性 + +[[tarpo|TARPO]] 的创新在于**让模型自己学习何时使用哪种模式**。 + +## 参考 + +- [[soft-token]] +- [[chain-of-thought|思维链]] +- [[tarpo|TARPO]] +- [[latent-reasoning|潜在推理]] diff --git a/concepts/harness-evolution.md b/concepts/harness-evolution.md new file mode 100644 index 0000000..1b2f153 --- /dev/null +++ b/concepts/harness-evolution.md @@ -0,0 +1,42 @@ +--- +title: "Harness Evolution（轨迹驱动的 Harness 进化）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, harness, evolution, trajectory-driven] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +--- + +# Harness Evolution + +> 从训练轨迹中诊断反复出现的交互失败，通过 Coding Agent 辅助将其转化为结构化的 Harness 干预——离线进化，评估时固定。 + +## 进化流程 + +Life-Harness 的 Harness 进化是**离线、轨迹驱动**的过程： + +1. **收集轨迹**：在训练任务上运行冻结模型，收集完整交互轨迹（trace） +2. **失败诊断**：对每个失败 episode 按最早主导瓶颈分配失败类别（动作实现 / 环境契约 / 轨迹退化 / 一般推理） +3. **模式提炼**：识别反复出现的失败模式——跨多个 episode 的共性结构 +4. **干预生成**：Coding Agent（Codex）读取轨迹 + Harness 设计准则，生成对四层的具体更新 +5. **回归检测**：同时检测过度触发（over-trigger）——干预是否破坏了原本正确的行为 +6. **固定评估**：进化后的 Harness 在测试时保持固定，不再修改 + +## 两个目标 + +- **覆盖率扩展**：让 Harness 覆盖更多已知失败模式 +- **回归防止**：确保新干预不破坏已有的正确行为 + +## 与 Prompt Optimization 的区别 + +Prompt Optimization（如 OPRO、TextGrad）优化的是**模型可见文本**；Harness Evolution 适配的是更广的运行时接口层，包括： +- 面向 Prompt 的契约增强 +- 面向执行的动作验证 +- 反馈驱动的恢复 +- 轨迹级调控 + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[runtime-harness-adaptation|Runtime Harness Adaptation]] +- [[cross-model-harness-transfer|跨模型 Harness 迁移]] +- [[deterministic-agent-failures|确定性 Agent 失败分类]] diff --git a/concepts/harness-model-interaction.md b/concepts/harness-model-interaction.md new file mode 100644 index 0000000..401e96f --- /dev/null +++ b/concepts/harness-model-interaction.md @@ -0,0 +1,45 @@ +--- +title: "Harness × Model 交互效应" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [coding-agent, evaluation, multi-agent] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# Harness × Model 交互效应 + +## 定义 + +Harness × Model 交互效应指的是 agent harness 选择对编码性能的影响**依赖于所使用的模型**，反之亦然。不同 harness-model 组合可能产生非加性的性能变化。Claw-SWE-Bench 通过控制变量法（固定一个维度扫掠另一个维度）首次系统量化了这种交互。 + +## 实验设计 + +Claw-SWE-Bench 采用两个互补的实验网格： + +1. **Model Sweep:** 固定 OpenClaw，扫掠 9 个 LLM +2. **Claw Sweep:** 固定两个代表模型（GLM 5.1 和 Qwen 3.6-flash），扫掠 5 个 claw + +## 关键发现 + +### 模型轴（固定 OpenClaw） +- Pass@1 跨度：48.6%（Seed 2.0-mini）→ 78.0%（GPT 5.5） +- **29.4 pp 差距** + +### Claw 轴（固定模型） +- GLM 5.1 下：60.9%（NanoBot）→ 73.4%（OpenClaw），**12.5 pp 差距** +- Qwen 3.6-flash 下：38.6%（Generic）→ 66.0%（OpenClaw），**27.4 pp 差距** + +### 交互效应 +- Claw 差距在小模型上更大（27.4 pp vs 12.5 pp）——小模型对 harness 的脆弱性和停止策略更敏感 +- 不同 claw 在不同模型上的相对排序不完全一致 +- NanoBot 在 GLM 5.1 下为 60.9%，在 Qwen 3.6-flash 下为 47.4%——下降幅度（13.5 pp）大于 OpenClaw（7.4 pp） + +## 方法论意义 + +如果 harness 不被控制，Leaderboard 结论可能被颠覆。Claw-SWE-Bench 通过将 harness 作为实验变量，使因果归因成为可能。 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[agent-harness|Agent Harness]] +- [[cost-aware-benchmarking|代价感知基准评测]] diff --git a/concepts/harnessaudit.md b/concepts/harnessaudit.md new file mode 100644 index 0000000..f98a2f8 --- /dev/null +++ b/concepts/harnessaudit.md @@ -0,0 +1,53 @@ +--- +title: "HarnessAudit" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [framework, agent-safety, trajectory-audit, benchmark] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# HarnessAudit + +**HarnessAudit** 是由 Liu et al. (2026) 提出的 **Agent 骨架安全审计框架**，将 Agent 安全评测从输出级转向完整的轨迹级审计。其核心主张是：Agent Safety 应该评测 **Harness** 而非 Response。 + +## 架构：三阶段流水线 + +``` +Setup → Execution → Judge +``` + +### Phase 1: Setup +- 声明式任务规范实例化可复现的骨架 +- 生成确定性种子的 mock services +- 导出 **hidden audit artifacts**（完成检查点、策略规则、违规分类），Agent 全程不可见 +- Agent 仅通过 API 工具交互，从不接触真实用户数据 + +### Phase 2: Execution +- 标准的 think → act → observe 循环 +- **不做在线评分**——仅记录结构化日志： + - 每次工具调用的参数和结果 + - 每次资源访问的权限决策 + - 每条组件间消息的内容和接收方 + - 执行前后的环境快照 + +### Phase 3: Judge +- 加载隐藏审计 artifacts +- 结合三个证据通道重建执行轨迹 +- 按 L1-L3 规范（见 [[agent-harness-safety]]）评分 + +## HarnessAudit-Bench + +伴随框架发布的基准测试：210 任务 × 8 领域（金融、电商、医疗、法律、软件工程、办公、日常、社交），支持单/多 Agent 配置。 + +## 核心设计原则 + +1. **证据独立**：所有评估证据来自 Agent **不可操纵、不可预期的通道** +2. **三层联合**：[[boundary-compliance]]、[[execution-fidelity]]、[[system-stability]] 必须同时满足 +3. **跨框架归一**：通过统一的 Action Schema 将不同骨架的原生事件格式标准化为 `tool_call` / `communication` 两种审计表面 + +## 与相关概念的关系 + +- [[agent-harness-engineering]] 定义了骨架的工程视角，HarnessAudit 提供了它的安全审计维度 +- [[harness-as-policy]] 将代码视为策略，HarnessAudit 验证该策略是否被遵守 +- [[trajectory-auditing]] 是 HarnessAudit 的核心方法论 diff --git a/concepts/hawkes-process.md b/concepts/hawkes-process.md new file mode 100644 index 0000000..ca519ef --- /dev/null +++ b/concepts/hawkes-process.md @@ -0,0 +1,56 @@ +--- +title: "Hawkes 过程 (Hawkes Process)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, self-exciting, hawkes, causal-discovery] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# Hawkes 过程 (Hawkes Process) + +Hawkes 过程是一种自激励（self-exciting）时间点过程，由 Hawkes (1971) 提出，核心特征是"过去的事件会增加未来事件发生的概率"。 + +## 强度函数 + +Unmarked Hawkes 的条件强度函数： + +``` +lambda*(t) = mu + sum_{t_n < t} phi(t - t_n) +``` + +- `mu > 0`：基线强度（background intensity） +- `phi(·): R+ → R+`：触发函数（triggering function），描述过去事件对未来强度的影响随时间衰减 + +## 多变量扩展 + +多变量 Hawkes 过程（MHP）建模 K 种事件类型： + +``` +lambda*_k(t) = mu_k + sum_{k'=1}^K sum_{t_n < t, k_n=k'} phi_{k,k'}(t - t_n) +``` + +其中 `phi_{k,k'}` 描述类型 k' 的事件如何影响类型 k 的强度。若 `phi_{k,k'} = 0`，则 k' 不对 k 产生 Granger 因果影响——这是 [[granger-causality-tpp|Granger 因果发现]] 的基础。 + +## 关键应用 + +- **地震学**：建模主震-余震序列（最初动机） +- **金融**：订单流分析，买卖单相互影响（Bacry & Muzy, 2014） +- **社交媒体**：推文/转发的信息扩散（Kong et al., 2023） +- **神经科学**：神经元脉冲序列的功能连接 +- **流行病学**：疾病传播建模（Rizoiu et al., 2018） + +## 从经典到现代 + +- **经典 Hawkes**：参数化触发函数（如指数衰减 `phi(t) = alpha*exp(-beta*t)`） +- **非参数 Bayesian Hawkes**：用 GP 或 Dirichlet 过程灵活建模触发函数 +- **神经 Hawkes**：用 RNN/Transformer 学习隐式触发动态 + +## 参考 + +- Hawkes (1971), "Spectra of some self-exciting and mutually exciting point processes" +- [[temporal-point-process|时间点过程]] +- [[conditional-intensity-function|条件强度函数]] +- [[granger-causality-tpp|Granger 因果发现]] +- [[neural-temporal-point-process|神经 TPP]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/hidden-audit-channel.md b/concepts/hidden-audit-channel.md new file mode 100644 index 0000000..8e63ef4 --- /dev/null +++ b/concepts/hidden-audit-channel.md @@ -0,0 +1,38 @@ +--- +title: "Hidden Audit Channel" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-safety, audit, evidence, trajectory] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# Hidden Audit Channel + +**隐藏审计通道**是 [[harnessaudit|HarnessAudit]] 框架的核心设计原则之一：所有安全评估证据来自 Agent **不可见、不可操纵、不可预期**的独立通道，而非 Agent 自报的最终答案或自我评估。 + +## 为什么需要隐藏通道 + +[[agent-safety-evaluation|Agent 安全评测]] 长期存在的根本问题是**自报不可信**——如果让 Agent 自己报告"我是否安全地完成了任务"，存在三类风险： + +1. **诚实错误**：Agent 不知道自己违规了（如访问了错误但未被标记的资源） +2. **上下文盲区**：Agent 的最终输出不记录中间步骤的违规 +3. **对抗性隐瞒**：恶意 Agent 可能主动掩盖违规行为 + +## HarnessAudit 的三类隐藏证据 + +| 通道 | 记录内容 | Agent 是否可见 | +|------|---------|--------------| +| 工具调用日志 | tool_call 名称、参数、返回结果 | 部分可见（结果对 Agent 可见，但日志聚合 Agent 不可见） | +| 资源访问日志 | 每次读写+权限决策 | 不可见 | +| 组件间通信日志 | 发送方/接收方/消息内容 | 消息内容对接收方可见，但审计聚合不可见 | + +## 关键机制 + +1. **隐藏审计 artifacts**：Setup 阶段从声明式任务规范中导出完成检查点、策略规则、违规分类——这些在整个执行期间对 Agent **完全隐藏** +2. **Post-hoc auditing**：所有评分在 Execution 完成后的 Judge 阶段进行——Agent 在运行期间不知道自己在被审计 +3. **确定性匹配 + LLM judge**：L1 边界违规用确定性规则（access checker），L2/L3 用条件化在隐藏证据上的 LLM judge + +## 与 Agent 可观测性的关系 + +[[agent-observability|Agent 可观测性]] 关注的是系统状态的透明度以支持调试和监控，而隐藏审计通道关注的是**安全证据的独立性**——二者互补但目的不同。可观测性帮助人类理解发生了什么，隐藏审计通道确保人类（和评估器）能独立验证安全约束是否被遵守。 diff --git a/concepts/hidden-symmetries-neural.md b/concepts/hidden-symmetries-neural.md new file mode 100644 index 0000000..8ba3d22 --- /dev/null +++ b/concepts/hidden-symmetries-neural.md @@ -0,0 +1,42 @@ +--- +title: "隐藏对称性 (Hidden Symmetries)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["neuroalgebraic-geometry", "neural-networks", "identifiability"] +sources: ["[[relu-neuromanifolds-semi-algebraicity]]"] +--- + +# 隐藏对称性 (Hidden Symmetries in Neural Networks) + +**隐藏对称性**是神经网络参数化映射中超出平凡[[scaling-permutation-symmetry|缩放和置换]]的对称性——即不同的权重参数（无法通过缩放/置换互相转换）产生**完全相同**的函数。 + +## 为什么是问题 + +隐藏对称性意味着： +- 网络**不可识别**（identifiability 失败） +- 即使知道网络实现的函数，也无法唯一确定参数 +- 损失景观中存在平坦方向（flat directions） + +## 已知的平凡对称性 + +1. **缩放对称性**：ReLU 的正齐次性——缩放入边权重乘以 c，出边除以 c，函数不变 +2. **置换对称性**：同一隐藏层中神经元的排列不改变函数 + +## 隐藏对称性的存在 + +[[relu-neuromanifolds-semi-algebraicity|Flinth et al. (2026)]] 通过研究[[fiber-of-parametrization|参数化纤维]]来刻画隐藏对称性： + +- 在 [[honest-open-subset|honest 开子集]]上，**无隐藏对称性** +- 在 honest 区域外，纤维 phi^{-1}(phi(u)) 比 Pr(d) 轨道大 → 存在隐藏对称性 +- 隐藏对称性对应于神经流形的**奇点** + +## 与训练的关系 + +隐藏对称性区域（即 honest 开子集的补集）是训练中的"危险区"——梯度信息不唯一，优化可能陷入虚假临界点。 + +## 参考 +- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]] +- [[honest-open-subset|Honest Open Subset]] +- [[scaling-permutation-symmetry|Scaling & Permutation]] +- [[fiber-of-parametrization|Fiber]] diff --git a/concepts/hierarchy-preservation.md b/concepts/hierarchy-preservation.md new file mode 100644 index 0000000..e70adb8 --- /dev/null +++ b/concepts/hierarchy-preservation.md @@ -0,0 +1,46 @@ +--- +title: "Hierarchy Preservation — Structural Knowledge for Literature Ranking" +type: concept +created: 2026-06-04 +tags: [document-structure, information-retrieval, llm-reasoning, ranking] +sources: ["ma-intragent-2026"] +--- + +# Hierarchy Preservation（层级保持） + +**定义**：[[intragent|IntrAgent]] [[section-ranking|章节排序]]阶段的关键设计——通过 LLM 推导科学文献的章节层级关系，为推理排序提供结构知识。 + +## 问题 + +科学文献遵循严格的层级结构： +- 父级标题传达更广泛的主题 +- 子级标题提供更具体的细节 + +传统的 [[rag|RAG]] 检索完全忽略这一结构——将所有章节视为平面的文本片段。 + +## 机制 + +1. 从 [[mineru]] 转换后的 Markdown 文本提取所有章节/子章节标题 +2. LLM 推理标题间的层级关系（父子/兄弟） +3. 构建完整的章节树（section tree） +4. 过滤冗余节点：父章节后紧跟子章节且无中间内容 → 去重 + +## 两个作用 + +1. **支撑推理排序**：LLM 在排序时能看到完整的层级上下文——不仅知道"讨论"在最后，更知道"讨论.3 局限分析"是子章节 +2. **支撑迭代阅读**：结构化文本解析确保迭代阅读阶段能正确导航章节树 + +## 与 RAG 的对比 + +| 维度 | RAG (平面检索) | 层级保持 | +|------|---------------|---------| +| 知识表示 | 独立片段向量 | 树形结构 | +| 排序依据 | 语义相似度 | 结构+语义推理 | +| 上下文理解 | 片段级 | 章-节-小节全路径 | +| 跨节关联 | 无法表示 | 树边显式建模 | + +## 相关概念 + +- [[section-ranking]] — 使用层级信息进行推理排序 +- [[iterative-reading]] — 使用层级信息进行结构化解析 +- [[mineru]] — PDF → Markdown 转换工具 diff --git a/concepts/honest-open-subset.md b/concepts/honest-open-subset.md new file mode 100644 index 0000000..f445826 --- /dev/null +++ b/concepts/honest-open-subset.md @@ -0,0 +1,42 @@ +--- +title: "Honest 开子集 (Honest Open Subset)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["neuroalgebraic-geometry", "neural-networks", "identifiability"] +sources: ["[[relu-neuromanifolds-semi-algebraicity]]"] +--- + +# Honest 开子集 (Honest Open Subset) + +**Honest 开子集**是 [[relu-neuromanifolds-semi-algebraicity|Flinth et al. (2026)]] 引入的概念：参数空间 P（消除缩放对称后的空间）中无隐藏对称性的区域。 + +## 形式化定义 + +U in P（Pr(d)-不变的）是： + +- **weakly honest**：Pr(d) 在 U 内传递地作用于每个纤维 phi^{-1}(phi(u)) ∩ U +- **honest**：Pr(d) 满射到每个纤维 phi^{-1}(phi(u))（等价于 weakly honest + U 是 Phi-饱和的） +- **strongly honest**：Pr(d) 同构于每个纤维（等价于 honest + 作用自由） + +## 直觉 + +一个 honest 开子集意味着：在该区域内，参数化映射 phi 的任何两个参数表示同一函数**仅当**它们通过平凡的缩放+置换对称性关联。 + +等价于：**无隐藏对称性**——所有对称性都是已知的缩放和置换对称。 + +## 核心猜想 + +> **Conjecture 2**：对任意架构，最大 honest 开子集是半代数的。 + +**Theorem 3**（浅层网络）：最大 honest 开集是 **Zariski 开集**（比半代数更强的结论）。 + +## 与可识别性的关系 + +如果存在 honest 开子集，则在其上网络是**可识别的**（identifiable）——可以从函数唯一恢复参数（modulo 缩放+置换）。 + +## 参考 +- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]] +- [[hidden-symmetries-neural|Hidden Symmetries]] +- [[scaling-permutation-symmetry|Scaling & Permutation Symmetries]] +- [[fiber-of-parametrization|Fiber of Parametrization]] diff --git a/concepts/hrpo.md b/concepts/hrpo.md new file mode 100644 index 0000000..7bc51d5 --- /dev/null +++ b/concepts/hrpo.md @@ -0,0 +1,47 @@ +--- +title: "HRPO: Hybrid Reasoning Policy Optimization" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reasoning, architecture, latent-reasoning, reinforcement-learning] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# HRPO: Hybrid Reasoning Policy Optimization + +HRPO（Yue et al., 2026）是**密集融合型混合推理**的代表性 RL 方法，在 [[tarpo|TARPO]] 论文中是核心对比基线。 + +## 核心机制 + +HRPO 在**每一个解码步骤**中构造离散 token 和连续表征的融合表示： + +``` +u_fused = g * E(v_t) + (1-g) * h_t +``` + +其中： +- `g` 是可学习的门控参数 +- `E(v_t)` 是离散 token embedding +- `h_t` 是隐藏状态表征 + +## 与 TARPO 的区别 + +| 维度 | HRPO | [[tarpo|TARPO]] | +|------|------|------| +| 融合方式 | 密集融合（每步都混合） | 二值切换（hard 或 soft） | +| 路由器 | 可学习门控 | 轻量级动作头 | +| 决策粒度 | 连续权重 | 离散二值 | +| 训练动态 | 后期易出现熵飙升 | 训练稳定 | +| 随机性来源 | 离散 token 采样 | 路由决策采样 | + +## 训练动态问题 + +TARPO 论文发现 HRPO 在后期训练阶段会出现**熵飙升**现象（token entropy 异常上升），可能源于门控机制的连续权重导致的不稳定优化。TARPO 的离散二值路由更好地保持了训练稳定性。 + +## 参考 + +- [[hybrid-reasoning|混合推理]] +- [[tarpo|TARPO]] +- [[latent-reasoning|潜在推理]] +- [[soft-token]] diff --git a/concepts/hybrid-reasoning.md b/concepts/hybrid-reasoning.md new file mode 100644 index 0000000..4692654 --- /dev/null +++ b/concepts/hybrid-reasoning.md @@ -0,0 +1,48 @@ +--- +title: "混合推理 (Hybrid Reasoning)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reasoning, architecture, latent-reasoning] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# 混合推理 (Hybrid Reasoning) + +混合推理（Latent-Explicit Hybrid Reasoning）将**离散 token 生成与连续潜在推理结合**在同一框架中，目的是同时保留离散 token 的采样随机性和连续表征的表达力。 + +## 两条技术路线 + +### 密集融合（Dense Integration） + +在每一个解码步骤中构造离散 token 和连续表征的**融合表示**： + +- **[[hrpo|HRPO]]**：通过可学习门控融合隐藏状态和 token embedding +- **Multiplex Thinking**：聚合多个独立采样的 token 为单个连续 token + +### 模式切换（Mode Switching） + +在离散推理轨迹中**选择性切换**到潜在推理： + +- **熵路由**：基于 token 熵的固定启发式阈值触发切换 +- **监督初始化路由**：通过监督学习初始化切换时机 +- **[[tarpo|TARPO]]**：通过 RL 学习**自适应逐 token 路由**，无需启发式或监督信号 + +## 核心挑战 + +1. **切换时机**：何时从 hard 切换到 soft？过早浪费 token 效率优势，过晚无法利用连续表达力 +2. **探索困境**：连续表征的确定性限制了 RL 策略探索 +3. **训练稳定性**：混合训练可能导致分布偏移 + +## TARPO 的突破 + +[[tarpo|TARPO]] 首次实现了**纯 RL 驱动的 token 级自适应混合推理**——路由器在每一步自主决定推理模式，通过 shared advantage 信号与 LLM 骨干联合优化。 + +## 参考 + +- [[latent-reasoning|潜在推理]] +- [[hrpo|HRPO]] +- [[tarpo|TARPO]] +- [[reparameterization-exploration|重参数化探索]] +- [[token-wise-routing|逐token路由]] diff --git a/concepts/hyperplane-arrangements.md b/concepts/hyperplane-arrangements.md new file mode 100644 index 0000000..72d005a --- /dev/null +++ b/concepts/hyperplane-arrangements.md @@ -0,0 +1,59 @@ +--- +title: "超平面排列 (Hyperplane Arrangements)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [geometry, capacity, neural-networks, theory] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 超平面排列 (Hyperplane Arrangements) + +超平面排列是 [[sparse-autoencoder|SAE]] 几何分析的**基础数学结构**——每个 SAE 神经元定义一个将激活空间分割的超平面，所有神经元的超平面共同形成复杂的区域划分。 + +## 定义 + +每个 SAE 神经元 i 定义超平面： + +``` +H_i = {x : ⟨w_i, x⟩ + b_i = 0} +``` + +其中 `w_i` 是编码器权重向量，`b_i` 是偏置。 + +## TNSA 区域 + +所有神经元的超平面将空间分割为若干区域——每个区域对应一个激活模式（TNSA：Total Neuron Single Activation）： + +``` +R_s = ∩_{i∈[d]} H_i^{σ_{s,i}} +``` + +其中 `σ_{s,i} ∈ {+, -}` 指示神经元 i 在模式 s 下是否激活。 + +## 网络容量 + +超平面排列的**区域数量**决定了 SAE 最大可区分的激活模式数，从而决定了可独立表征的概念数： + +- d 个超平面在 n 维空间中的最大区域数：`Σ_{i=0}^n C(d, i)` +- 这给出了模型容量的**组合上界** + +## 在 SAE 中的应用 + +[[geometric-sae-concepts|Zhang et al. (2026)]] 利用超平面排列分析： + +1. **特征分裂**的几何可能性和限制 +2. **概念分离**的充要条件（凸包不交） +3. **概念近似**的误差下界（非凸概念的不可约误差） +4. **[[absolute-gating|绝对 vs 相对门控]]** 的几何差异 + +## 与 Top-K MoE 的关联 + +Su et al. (2026) 将 Top-K MoE 的专家选择分析为超平面排列问题——与 Top-K SAE 共享同一数学框架。 + +## 参考 + +- [[absolute-gating|绝对/相对门控]] +- [[sparse-autoencoder|SAE]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/implicit-processes.md b/concepts/implicit-processes.md new file mode 100644 index 0000000..3e1614d --- /dev/null +++ b/concepts/implicit-processes.md @@ -0,0 +1,47 @@ +--- +title: "隐式过程 (Implicit Processes)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [bayesian-deep-learning, stochastic-processes, generative-models] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 隐式过程 (Implicit Processes) + +隐式过程是一类**可通过采样定义但无显式概率密度**的随机过程——[[ortega-phd-thesis|Ortega (2026)]]将其扩展到深度架构形成 [[deep-variational-implicit-process|DVIP]]。 + +## 定义 + +隐式过程 `f ~ IP(g_θ, P_z)`： + +``` +f(x) = g_θ(x; z), z ~ P_z +``` + +- `g_θ`：确定性的生成器网络（带参数 θ） +- `P_z`：隐变量 z 的简单先验（如 N(0,I)） +- 采样 f 只需：z ~ P_z → f(·) = g_θ(·; z) + +## 与高斯过程的对比 + +| 维度 | GP | Implicit Process | +|------|-----|-----------------| +| 密度 | 显式（多元高斯） | 隐式（无解析形式） | +| 先验 | 高斯 | 任意（由 g_θ 决定） | +| 推断 | 解析（GP 回归） | 变分推断 | +| 表达力 | 由核决定 | 由 g_θ 架构决定 | + +## 优势 + +- **非高斯性**：可建模多模态、重尾分布 +- **深度化**：P_z → g_θ 是深度网络，表达力远超 GP 核 +- **采样高效**：仅需一次前向传播 + +## 参考 + +- [[deep-variational-implicit-process|DVIP]] +- [[deep-gaussian-process|深度高斯过程]] +- [[function-space-modeling|函数空间建模]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/in-context-learning.md b/concepts/in-context-learning.md new file mode 100644 index 0000000..85265d4 --- /dev/null +++ b/concepts/in-context-learning.md @@ -0,0 +1,22 @@ +--- +title: "上下文学习 (In-Context Learning)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [in-context-learning, LLM, prompting, few-shot] +status: placeholder +--- + +# 上下文学习 (In-Context Learning) + +> ⚠️ 占位符页面 — 待完善 + +上下文学习（ICL）是 LLM 通过提示中的少量示例（few-shot）即可适应新任务的能力，无需参数更新。是 SFT 的轻量级替代方案。 + +研究表明，SFT 可能导致 LLM 的 ICL 能力下降——[[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 的交互视角暗示，这可能是因为过拟合阶段涌现的噪声交互干扰了已有的泛化推理骨架。 + +## 相关概念 + +- [[supervised-fine-tuning|SFT]] +- [[preserved-interactions-backbone|保留交互作为推理支柱]] +- [[catastrophic-forgetting|灾难性遗忘]] diff --git a/concepts/infinite-dimensional-manifolds.md b/concepts/infinite-dimensional-manifolds.md new file mode 100644 index 0000000..847d1a1 --- /dev/null +++ b/concepts/infinite-dimensional-manifolds.md @@ -0,0 +1,44 @@ +--- +title: "无限维流形 (Infinite-Dimensional Manifolds)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, differential-geometry, functional-analysis] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# 无限维流形 (Infinite-Dimensional Manifolds) + +无限维流形是 [[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 理论中 [[functional-input-neural-networks|FNN]] 的**输入空间**——模型空间是局部凸拓扑向量空间（非有限维欧氏空间）。 + +## 定义 + +流形 M 局部同胚于**模型空间**（model space），在无限维设置中模型空间是： + +- **Fréchet 空间**：可度量完备局部凸空间 +- **Banach 空间**：范数完备空间 +- **Silva 空间**：紧算子序列的归纳极限 + +论文聚焦于**σ-紧模型空间**上的流形（可数个紧集的并）。 + +## σ-紧条件 + +σ-紧是连通无限维流形的**必要不充分条件**： + +- 许多无限维空间（如不可分 Banach 空间）不 σ-紧 +- 论文的工作假设 σ-紧，使得加权分析和 [[bastiani-calculus|Bastiani 微积分]] 可行 + +## 典型例子 + +- **路径空间**：α-Hölder 连续路径空间 C^α([0,T]; R^d) +- **Skorokhod 空间**：càdlàg 路径空间 +- **Schwartz 分布空间**：S'(R) +- **流形上的截面空间** + +## 参考 + +- [[functional-input-neural-networks|FNN]] +- [[weighted-spaces|加权空间]] +- [[bastiani-calculus|Bastiani 微积分]] +- [[weighted-uat-manifolds|论文原文]] diff --git a/concepts/infinite-width-limit.md b/concepts/infinite-width-limit.md new file mode 100644 index 0000000..c1ec368 --- /dev/null +++ b/concepts/infinite-width-limit.md @@ -0,0 +1,56 @@ +--- +title: "无限宽度极限 (Infinite-Width Limit)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [deep-learning, theory, neural-networks, asymptotics] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 无限宽度极限 (Infinite-Width Limit) + +无限宽度极限是深度学习理论中**将神经网络分析简化为高斯过程**的核心技巧。在 [[ticks-to-flows|Ticks-to-Flows]] 中，它是连接 RL 与随机过程理论的桥梁。 + +## 核心思想 + +当隐藏层宽度 `n → ∞` 时，在适当的初始化下，NN 的**输出在函数空间中收敛于高斯过程**（GP）。 + +## 两种视角 + +### 初始化极限（NNGP） +在初始化时，随机 NN 的输出分布收敛到一个 GP，其核函数为： + +``` +K(s, s') = E_{W~N(0,1)}[φ(W·s) φ(W·s')] +``` + +这是 Neural Network Gaussian Process（NNGP）。 + +### 训练极限（NTK） +在参数更新过程中，如果网络**无限宽**，则参数变化趋于 0，NN 退化为以 [[neural-tangent-kernel|NTK]] 为核的 kernel method。 + +## 在 Ticks-to-Flows 中的应用 + +1. **条件高斯化**：在给定 `s̃_{t,τ}` 的条件下，∆v, ∆v', ∆a, ∆a' 的分布是高斯分布（limit of CLT） +2. **O(1/sqrt(n)) 误差**：Berry-Esseen 类定理保证收敛速率 +3. **封闭系统**：仅 5 个时变变量完全描述系统——这是高斯性带来的简化 + +## 关键假设 + +- 学习率 `η = O(1/sqrt(n))`——宽度越大，学习率越小 +- 仅训练第一层参数（C 冻结） +- tanh 激活确保光滑性 + +## 局限性 + +- 不捕捉**特征学习**（NN 实际优势的来源） +- "lazy regime" 与实际训练有差距 +- 扩展到有限宽度需要额外的纠偏项 + +## 参考 + +- [[neural-tangent-kernel|NTK]] +- [[linearized-neural-network|线性化 NN]] +- [[martingale-clt|鞅 CLT]] +- [[ticks-to-flows|Ticks to Flows]] diff --git a/concepts/infinity-hierarchy.md b/concepts/infinity-hierarchy.md new file mode 100644 index 0000000..68f8b73 --- /dev/null +++ b/concepts/infinity-hierarchy.md @@ -0,0 +1,42 @@ +--- +title: "无穷层级体系 (Infinity Hierarchy)" +created: 2026-06-07 +updated: 2026-06-07 +type: concept +tags: [集合论, 无穷, 数学基础] +--- + +# 无穷层级体系 + +无穷并非单一的概念——存在不同大小的无穷，它们构成一个严格的层级结构。这一发现由 [[georg-cantor|康托尔]] 和 [[richard-dedekind|狄德金]] 在1870年代共同奠定。 + +## 核心发现 + +### 第一层：可数无穷 + +自然数集、整数集、有理数集、[[algebraic-numbers-countability|代数数集]]的大小相同——它们是"可数的"。即这些集合中的元素可以与自然数一一对应。 + +狄德金证明了**代数数的可数性**（1873年），这是该层级体系的第一个关键组成部分。 + +### 第二层：不可数无穷 + +实数集、无理数集的大小严格大于可数无穷——它们是"不可数的"。康托尔独立证明了**实数的不可数性**（1874年）。 + +## 关键概念 + +- **可数集**：能与自然数建立一一对应的集合 +- **不可数集**：元素"多于"自然数的集合 +- **连续统**：实数的势（cardinality），记作 $\mathfrak{c}$ 或 $2^{\aleph_0}$ +- **连续统假设**：是否存在严格介于可数无穷和连续统之间的无穷？这是希尔伯特23个问题中的第一问 + +## 历史意义 + +在1874年之前，数学家视无穷为数学的"毒瘤"，回避所有涉及无穷的实质讨论。康托尔和狄德金的工作**将无穷从修辞手法转化为真正的数学对象**，开创了 [[set-theory-history|集合论]] 这一全新领域。 + +## 相关条目 + +- [[countable-uncountable-infinity|可数与不可数无穷]] +- [[algebraic-numbers-countability|代数数的可数性]] +- [[set-theory-history|集合论史]] +- [[georg-cantor|格奥尔格·康托尔]] +- [[richard-dedekind|里夏德·狄德金]] diff --git a/concepts/information-flow-control.md b/concepts/information-flow-control.md new file mode 100644 index 0000000..a6ea022 --- /dev/null +++ b/concepts/information-flow-control.md @@ -0,0 +1,30 @@ +--- +title: "Information Flow Control" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-safety, multi-agent, communication, policy] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# Information Flow Control + +**信息流控制**（Information Flow Control）是 [[agent-harness-safety|Agent 骨架安全]]中约束 Agent 之间信息共享的机制，对应 [[policy-constrained-execution|策略约束执行系统]] 中的信息流策略 Φ。在 [[harnessaudit|HarnessAudit]] 的 L1 [[boundary-compliance]] 中作为三个审计通道之一。 + +## 问题本质 + +在 [[multi-agent-safety|多 Agent 系统]]中，Agent 需要通信来协调任务——但通信引入了安全风险：一个 Agent 可能在正确的通信链路上传输了不该共享的内容。 + +HarnessAudit 定义的 Φ 策略包含： +- **允许的通信通道**：哪些角色之间可以通信 +- **允许的共享内容**：哪些类型的信息可以跨越角色边界 +- **禁止的披露**：哪些内容不得对外暴露（如 PII、内部状态） + +## 违规模式 + +HarnessAudit 实验揭示了两个关键发现： + +1. **Agent 能正确识别通信对象但无法控制共享内容**——接收方判定准确但内容泄露频繁 +2. **信息流违规主要表现为敏感信息泄露**而非授权接收方错误——这意味着骨架在通信路由层面表现尚可，但在内容过滤层面存在系统性缺陷 + +这与 [[agent-communication-stack|Agent 通信栈]]的安全挑战一致——信息一旦通过通信接口发出，骨架就失去了对它的控制。 diff --git a/concepts/information-geometry.md b/concepts/information-geometry.md new file mode 100644 index 0000000..a47553e --- /dev/null +++ b/concepts/information-geometry.md @@ -0,0 +1,41 @@ +--- +title: "信息几何 (Information Geometry)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["differential-geometry", "statistical-inference", "fisher-metric"] +sources: ["[[dead-directions-geometric-singular-learning]]"] +--- + +# 信息几何 (Information Geometry) + +**信息几何**（Amari, 2016）将参数统计模型 {p_theta} 视为配备 [[fisher-information-metric|Fisher 度量]]的黎曼流形。 + +## 核心构造 + +1. **Fisher 度量**：g_{ij} = E[∂_i log p · ∂_j log p] +2. **自然梯度**：nabla^{nat} = F^{-1} · nabla（在 Fisher 度量下最陡下降方向） +3. **对偶连接**：(nabla, nabla*) 结构 +4. **指数/混合平坦性对偶** + +## 基本假设 + +信息几何的几乎所有构造都要求 Fisher 度量是**非退化的**——满秩。然而： + +- 过参数化模型：参数维度 >> 有效数据约束 → Fisher 矩阵降秩 +- 奇异集上：Fisher 度量完全退化 + +→ 信息几何在奇异集上"沉默" + +## 与 SLT 的桥接 + +[[dead-direction|Dead Direction]] 是信息几何中 Fisher 退化方向的具体刻画。Shirodkar (2026) 证明： + +- Amari 框架中 Fisher 退化的方向 = Watanabe 框架中奇异集的切向量 +- KL 阶在两种语言中均可定义——成为桥接不变量 + +## 参考 +- [[dead-directions-geometric-singular-learning|Dead Directions]] +- [[singular-learning-theory|Singular Learning Theory]] +- [[fisher-information-metric|Fisher Information Metric]] +- [[dead-direction|Dead Direction]] diff --git a/concepts/intensity-free-modeling.md b/concepts/intensity-free-modeling.md new file mode 100644 index 0000000..8247690 --- /dev/null +++ b/concepts/intensity-free-modeling.md @@ -0,0 +1,70 @@ +--- +title: "Intensity-free 建模" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, parameterization, training-efficiency] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# Intensity-free 建模 (Intensity-free Modeling) + +Intensity-free 建模是神经 TPP 中绕过 [[conditional-intensity-function|条件强度函数]] 积分的一种参数化策略，旨在消除 MLE 训练中的数值积分瓶颈。 + +## 动机 + +传统 intensity-based 方法在 MLE 训练时面临核心困境： + +``` +log L = sum log lambda*(t_n) - ∫_0^T lambda*(tau) dtau +``` + +积分 `∫ lambda*` 在大多数神经参数化下没有闭式解，需 Monte Carlo 或数值积分近似——计算开销大且引入估计误差。 + +## 三种 Intensity-free 范式 + +### 1. 直接建模条件密度 `f(t|H)` + +``` +f(t | H_{t_n}) = sum_{m=1}^M w_m * LogNormal(t; mu_m, sigma_m) +``` + +- 代表性工作：Shchur et al. (2020a) (RNN), Panos (2024) (Transformer) +- 对数正态混合分布消除积分需求 +- 采样直接可用（从混合分布采样） + +### 2. 建模累积强度函数 `Lambda*(t)` + +用单调神经网络或样条对 `Lambda*(t)` 建模： +``` +log L = sum log(dLambda*/dt) - Lambda*(T) +``` + +- 无需积分 `lambda*` +- Omi et al. (2019), Shchur et al. (2020b), Liu (2024) + +### 3. 建模逆 CDF `F^{-1}` + +用单调有理二次样条学习逆累积分布： +``` +t = F^{-1}(u | H_{t_n}), u ~ Uniform(0,1) +``` + +- Taieb (2022)：同时避免积分和保证高效采样 + +## 对比 + +| 方法 | 数值积分 | 采样效率 | MLE 复杂度 | +|------|---------|---------|-----------| +| Intensity-based | 需要 | 需 thinning | 高 | +| 密度参数化 | 无需 | 直接采样 | 低 | +| 累积强度 | 无需 | 需逆变换 | 中 | +| 逆 CDF | 无需 | 直接采样 | 低 | + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[conditional-intensity-function|条件强度函数]] +- [[neural-temporal-point-process|神经 TPP]] +- [[tpp-training-methods|TPP 训练方法]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/interaction-based-explanation.md b/concepts/interaction-based-explanation.md new file mode 100644 index 0000000..30d6687 --- /dev/null +++ b/concepts/interaction-based-explanation.md @@ -0,0 +1,40 @@ +--- +title: "交互基解释 (Interaction-Based Explanation)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [interpretability, interactions, LLM, DNN, xAI] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# 交互基解释 (Interaction-Based Explanation) + +## 定义 + +交互基解释是一种将深度神经网络（DNN）的复杂推理逻辑分解为一组**基本交互模式**（interaction primitives）的可解释性方法。在 LLM 的语境下，交互通常表示为输入 token/词之间的短语模式。 + +## 核心思想 + +DNN 的输出可以被忠实地近似为一组 [[and-or-interactions|AND-OR 交互]] 的加权和。每个交互表示输入变量之间的某种组合关系： + +- **AND 交互**：当所有参与变量同时存在时激活，贡献效应 $I_T^{\text{and}}$ +- **OR 交互**：当任一参与变量存在时激活，贡献效应 $I_T^{\text{or}}$ + +## 关键性质 + +1. **通用匹配性 (Universal Matching)**：由提取的交互构建的 [[logical-model-interaction|逻辑模型]] 可以在所有 $2^n$ 个掩码状态下以 $\epsilon$ 精度逼近原 DNN 输出 +2. **稀疏性 (Sparsity)**：实际中 DNN 从单个输入样本提取的交互数量很小（通常 50-150 个），理论上也有界 +3. **忠实性 (Faithfulness)**：大量实证和理论工作验证了交互解释的忠实性 + +## 应用于 SFT 分析 + +在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 的工作中，交互被用作追踪 SFT 过程中 LLM 推理模式演变的量化指标。通过持续追踪交互的涌现和消亡，可以揭示 SFT 两阶段动力学的内在机制。 + +## 相关概念 + +- [[and-or-interactions|AND-OR 交互]] +- [[logical-model-interaction|交互逻辑模型]] +- [[interaction-order|交互阶数]] +- [[interaction-generalizability|交互泛化性]] +- [[shapley-values]] (计算上相关) diff --git a/concepts/interaction-generalizability.md b/concepts/interaction-generalizability.md new file mode 100644 index 0000000..5c7861f --- /dev/null +++ b/concepts/interaction-generalizability.md @@ -0,0 +1,44 @@ +--- +title: "交互泛化性 (Interaction Generalizability)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [interactions, generalizability, LLM, metrics] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# 交互泛化性 (Interaction Generalizability) + +## 定义 + +交互泛化性衡量一个交互是否在不同 DNN 之间**一致存在**。如果交互 $S$ 同时被目标 LLM $v$ 和基线 LLM $v'$（架构不同）编码，且效应方向一致，则该交互被认为是泛化的。 + +## 度量 + +$$G_S^{\text{type}} = \mathbb{1}(S \in \Omega_{v'}^{\text{type}}) \cdot \mathbb{1}(\text{sign}(I_S^{\text{type}}) = \text{sign}(I_{S,v'}^{\text{type}}))$$ + +其中 $v'$ 为架构不同的基线 LLM。 + +整体泛化比例 $\gamma$ 定义为： + +$$\gamma(\Omega^{\text{and}}, \Omega^{\text{or}}) = \frac{\sum_{\text{type}} \sum_{S \in \Omega^{\text{type}}} |I_S^{\text{type}} \cdot G_S^{\text{type}}|}{\sum_{\text{type}} \sum_{S \in \Omega^{\text{type}}} |I_S^{\text{type}}|} \times 100\%$$ + +## 在 SFT 分析中的应用 + +在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 中，泛化性是区分可靠交互与噪声交互的关键指标： + +- **Preserved 交互**：γ > 50%，说明它们捕捉了跨模型的共享表征 +- **Removed 交互**：γ ≈ 0，说明它们几乎完全是模型特定的噪声 +- **Newly emerged 交互**：早期涌现的 γ 较高；后期涌现的 γ 急剧下降 + +## 与交互阶数的关系 + +低阶交互的泛化性通常显著强于高阶交互——这与 [[interaction-order|交互阶数]] 理论一致：简单模式更可能在不同模型中通用。 + +## 相关概念 + +- [[uncancelled-interaction-effects|未抵消交互效应]] +- [[interaction-order|交互阶数]] +- [[interaction-types-sft|SFT 中的三类交互]] +- [[interaction-based-explanation|交互基解释]] diff --git a/concepts/interaction-order.md b/concepts/interaction-order.md new file mode 100644 index 0000000..02a2acd --- /dev/null +++ b/concepts/interaction-order.md @@ -0,0 +1,56 @@ +--- +title: "交互阶数 (Interaction Order)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [interactions, complexity, DNN, LLM] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# 交互阶数 (Interaction Order / Complexity) + +## 定义 + +交互的阶数（order）定义为该交互涉及的**输入变量数量**： + +$$\text{order}(T) = |T|$$ + +例如： +- 两个词 "force" 和 "mass" 之间的交互 → 2 阶（简单短语模式） +- 五个词 "laws"、"between"、"force"、"mass" 和 "and" 之间的交互 → 5 阶（复杂短语模式） + +## 阶数与可靠性的关系 + +大量研究发现，低阶交互通常比高阶交互更可靠： + +1. **对噪声更鲁棒**：低阶交互对输入噪声的敏感度更低 +2. **泛化性更强**：低阶交互更可能跨模型通用（[[interaction-generalizability|交互泛化性]]） +3. **更少正负抵消**：低阶交互的 [[uncancelled-interaction-effects|未抵消效应比例]] 更高 + +## 在 SFT 分析中的角色 + +在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 中，交互阶数是区分可靠交互与噪声交互的关键维度： + +| 交互类型 | 阶数分布 | 含义 | +|----------|---------|------| +| [[interaction-types-sft|Preserved]] | 以低阶为主 | 简单的、可靠的推理模式 | +| [[interaction-types-sft|Removed]] | 以高阶为主 | 复杂的、不可靠的噪声模式 | +| [[interaction-types-sft|Newly Emerged（早期）]] | 中低阶 | 相对可靠的新模式 | +| [[interaction-types-sft|Newly Emerged（后期）]] | 以高阶为主 | 过拟合的噪声模式 | + +## 交互分布表征 + +与其逐个分析每个交互的阶数，可以表征交互在不同阶数上的**分布**： + +$$e^+ = [e^{(1),+}, e^{(2),+}, ..., e^{(n),+}]^T$$ +$$e^- = [e^{(1),-}, e^{(2),-}, ..., e^{(n),-}]^T$$ + +其中 $e^{(k),+}$ 聚合了所有 $k$ 阶的正效应新涌现交互。 + +## 相关概念 + +- [[interaction-generalizability|交互泛化性]] +- [[uncancelled-interaction-effects|未抵消交互效应]] +- [[interaction-types-sft|SFT 中的三类交互]] +- [[and-or-interactions|AND-OR 交互]] diff --git a/concepts/interaction-types-sft.md b/concepts/interaction-types-sft.md new file mode 100644 index 0000000..7570be3 --- /dev/null +++ b/concepts/interaction-types-sft.md @@ -0,0 +1,56 @@ +--- +title: "SFT 中的三类交互 (Removed, Preserved, Newly Emerged)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [SFT, interactions, LLM, fine-tuning] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# SFT 中的三类交互 + +在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 的框架中，SFT 过程中的交互被分为三种类型，以刻画 LLM 表征质量的提升与退化。 + +## 三类交互 + +### 1. Removed（被移除的交互） + +$$R_t^{\text{type}} = \Omega_0^{\text{type}} \setminus \Omega_t^{\text{type}}$$ + +- **特征**：SFT 前存在，训练中被消除 +- **质量**：高阶、非泛化（[[interaction-generalizability|γ ≈ 0]]）、正负效应相互抵消（[[uncancelled-interaction-effects|ρ ≈ 0]]） +- **本质**：预训练中的噪声模式 + +### 2. Preserved（被保留的交互） + +$$P_t^{\text{type}} = P_{t-1}^{\text{type}} \cap \Omega_t^{\text{type}}$$ + +- **特征**：SFT 前后始终存在 +- **质量**：低阶、泛化性强（γ > 50%）、未抵消效应比例高 +- **本质**：LLM 推理的核心骨架（[[preserved-interactions-backbone|保留交互作为推理支柱]]） + +### 3. Newly Emerged（新涌现的交互） + +$$E_t^{\text{type}} = \Omega_t^{\text{type}} \setminus P_t^{\text{type}}$$ + +- **特征**：SFT 中新习得 +- **质量**：两极分化——早期涌现的相对可靠，后期涌现的类似噪声 +- **本质**：去噪阶段涌现的少量可靠模式 + 过拟合阶段涌现的大量噪声 + +## 质量度量 + +| 类型 | 泛化性 γ | 未抵消效应 ρ | 阶数 | 对预测的贡献 | +|------|----------|-------------|------|-------------| +| Removed | ≈ 0 | ≈ 0 | 高 | 可忽略 | +| Preserved | > 50% | 高 | 低 | 核心贡献 | +| Newly Emerged (早期) | 中高 | 较高 | 中低 | 显著 | +| Newly Emerged (后期) | 低 | ≈ 0 | 高 | 可忽略 | + +## 相关概念 + +- [[sft-denoising-stage|SFT 去噪阶段]] +- [[preserved-interactions-backbone|保留交互作为推理支柱]] +- [[interaction-generalizability|交互泛化性]] +- [[uncancelled-interaction-effects|未抵消交互效应]] +- [[interaction-order|交互阶数]] diff --git a/concepts/intervention-multiplier.md b/concepts/intervention-multiplier.md new file mode 100644 index 0000000..4c64788 --- /dev/null +++ b/concepts/intervention-multiplier.md @@ -0,0 +1,44 @@ +--- +title: "Intervention Multiplier" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, controllability, llm-dynamics] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Intervention Multiplier（干预乘子） + +## 定义 + +干预乘子 $m$（或 $m_1, m_2$）是统一动态权重更新框架中的标量缩放系数，控制干预强度： + +$$h_{i+1} = (W + m_1 \Delta W) h_i + (b + m_2 \Delta b)$$ + +## 核心作用 + +$m$ 是 Xu et al. (2026) 整个 preference–utility 分析中的**自变量**——所有动态行为都是 $m$ 的函数： + +- 偏好 log-odds $\approx (\alpha_p m + \beta_p) D_p(m)$ +- 效用 log-odds $\approx \beta_u D_u(m)$ +- 有效性衰减 $D(m)$ + +## 方向不对称性 + +$m$ 的正负符号 **不对称**——正方向和负方向的衰减参数 $(m_\pm, L_\pm, p_\pm)$ 不同： +- $m_+$ 和 $m_-$ 分别对应正/负方向与流形的交点 +- 导向在同一条线上的不同方向可能流形距离不同 + +## 实践意义 + +- $|m|$ 小：安全操作区——偏好线性增长，效用基本不变 +- $|m|$ 中：折衷区——偏好继续增长，效用开始下降 +- $|m|$ 大：危险区——效用崩溃，偏好不再增长 + +## 相关概念 + +- [[dynamic-weight-updates]] — 统一公式 +- [[steering-dynamics]] — $m$ 驱动的三阶段动态 +- [[validity-decay]] — $D(m)$ 衰减函数 +- [[preference-log-odds]] — $m$ 的依赖形式 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/intrabench.md b/concepts/intrabench.md new file mode 100644 index 0000000..e7c1656 --- /dev/null +++ b/concepts/intrabench.md @@ -0,0 +1,48 @@ +--- +title: "IntraBench — Benchmark for Content-Grounded Literature QA" +type: concept +created: 2026-06-04 +tags: [benchmark, evaluation, scientific-literature, information-retrieval] +sources: ["ma-intragent-2026"] +dataset: "https://huggingface.co/datasets/IntrAgent/IntraBench" +--- + +# IntraBench + +**定义**：首个专门评估 [[intraview|IntraView]] 任务的基准测试集，由 [[ma-intragent-2026|IntrAgent]] 论文引入。 + +## 规模与覆盖 + +- **315 个测试实例** +- **5 个 STEM 领域**：物理、地球科学、公共卫生、工程、材料科学 +- 每个实例：一篇完整科学论文 + 专家撰写的查询 + 多选题选项 + +## 与已有基准的对比 + +| 基准 | 实例数 | 领域数 | 领域范围 | +|------|--------|--------|---------| +| LitQA | 50 | 1 | 生物 | +| LitQA2 | 248 | 1 | 生物 | +| **IntraBench** | **315** | **5** | **物理+地球+公卫+工程+材料** | + +## 评估方法：LLM 锚定多选题评估 + +IntraBench 采用独特的评估策略： +1. **生成自由回答**：系统产出简短答案（不提供选项） +2. **LLM 映射**：LLM 将自由回答映射到最相关的多选题选项 +3. **处理同义词/缩写**：LLM 能识别等价概念（如 AgNP = 银纳米颗粒） +4. **缺失处理**：无法映射时标记为"以上皆非" + +与传统字符串匹配（BLEU/ROUGE）相比，这种方法在科学术语评估上准确度更高。实证结果显示 GPT-4.1 的映射与领域专家手动映射一致性达到 63/65。 + +## 评估的其他方面 + +- **跨领域迁移**：同一方法在 5 个领域的平均表现 +- **Backbone LLM 鲁棒性**：7 种不同 backbone LLM 下的性能稳定性 +- **组件消融**：层级保持、充分性检查、置信度模式的独立贡献 + +## 相关概念 + +- [[intraview|IntraView]] — 该基准所评估的任务 +- [[intragent|IntrAgent]] — 创建该基准的 Agent 框架 +- [[scientific-literature-qa]] — 科学文献 QA 评估的更广领域 diff --git a/concepts/intragent.md b/concepts/intragent.md new file mode 100644 index 0000000..a9c4201 --- /dev/null +++ b/concepts/intragent.md @@ -0,0 +1,50 @@ +--- +title: "IntrAgent — Structural-Aware Literature Reading Agent" +type: concept +created: 2026-06-04 +tags: [llm-agent, information-retrieval, scientific-literature, hallucination-mitigation] +sources: ["ma-intragent-2026"] +--- + +# IntrAgent + +**定义**：IntrAgent 是首个专门解决 [[intraview|IntraView]] 任务的 LLM Agent 框架，模拟人类阅读科学文献获取信息的行为模式。 + +## 设计哲学："Mindset Bionics" + +IntrAgent 遵循**心智仿生**路径——模仿人类信息检索的自然阅读工作流： +1. 带着问题开始 +2. 推断最可能包含答案的章节 +3. 提取关键信息 +4. 评估是否已充分回答 +5. 按需继续迭代 + +## 两阶段管道 + +### 阶段一：[[section-ranking|章节排序]] +- 将章节按与问题的相关性重新排序 +- 利用结构知识（[[hierarchy-preservation|层级保持]]）而非仅靠语义相似度 +- 使用 [[mineru]] 进行 PDF → Markdown 转换 + +### 阶段二：[[iterative-reading|迭代阅读]] +- 按排序顺序逐步读入章节 +- 提取关键科学细节记录到短期记忆 +- [[sufficiency-check|充分性检查]]：LLM 判断是否已积累足够信息 +- 三种置信度模式：保守/平衡/激进 + +## 与 RAG 的对比 + +| 维度 | RAG | IntrAgent | +|------|-----|-----------| +| 内容优先级 | 语义相似度片段排序 | 推理驱动的章节排序 | +| 结构利用 | 忽略文档结构 | 层级保持+结构感知 | +| 幻觉控制 | 无显式机制 | 充分性检查显式抑制 | +| 阅读策略 | 一次检索-生成 | 渐进迭代阅读 | + +## 相关概念 + +- [[ma-intragent-2026]] — 论文主页面 +- [[rag|RAG]] — 检索增强生成（传统 baseline） +- [[section-ranking]] — 章节排序机制 +- [[iterative-reading]] — 迭代阅读机制 +- [[hallucination-mitigation]] — 幻觉抑制 diff --git a/concepts/intraview.md b/concepts/intraview.md new file mode 100644 index 0000000..052c501 --- /dev/null +++ b/concepts/intraview.md @@ -0,0 +1,42 @@ +--- +title: "IntraView — Content-Grounded Literature Information Retrieval" +type: concept +created: 2026-06-04 +tags: [information-retrieval, scientific-literature, llm-agent, content-grounded] +sources: ["ma-intragent-2026"] +--- + +# IntraView (INformation reTRieval through literAture reVIEW) + +**定义**：IntraView 是由 [[ma-intragent-2026|IntrAgent]] 论文提出的新任务——给定一篇完整科学文献和一个研究驱动的查询，自动从中提取精确信息，且严格锚定于文献内容。 + +## 与 CQA 的区别 + +IntraView 本质上属于 [[content-question-answering|CQA]]（内容问答）范畴，但有几个关键差异： + +1. **完整文献 vs 预选段落**：提供整篇论文，相关信息可能出现在任何位置，或根本不存在 +2. **领域特定查询**：需要跨节交叉引用，而非局限于单一段落 +3. **缺失承认**：当信息不存在时，必须明确说"没有"，而非编造——这是抑制 [[hallucination-mitigation|幻觉]] 的核心要求 + +## 与其他科学 QA 任务的区别 + +| 维度 | 文献搜索式科学QA | IntraView | +|------|----------------|-----------| +| 信息源 | 外部文献库搜索 | 提供的单一文献 | +| 回答依据 | 可引入外部知识 | 严格限定于文献内容 | +| 信息缺失 | 可切换来源 | 必须承认缺失 | +| 阅读策略 | 检索-生成 | 结构感知渐进阅读 | + +## 核心挑战 + +1. **结构复杂性**：科学文献遵循严格的层级结构（章-节-小节），信息分布在多个层级 +2. **领域语言**：专业术语、缩写、数值精度要求高 +3. **跨节依赖**：方法论→结果→讨论之间需要交叉引用 +4. **零-shot 场景**：每次面对不同的论文和查询，无训练数据 + +## 相关概念 + +- [[intragent|IntrAgent]] — 首个专门解决 IntraView 的 Agent 框架 +- [[intrabench|IntraBench]] — IntraView 的评估基准 +- [[content-grounded-retrieval]] — 内容锚定的检索范式 +- [[scientific-literature-qa]] — 科学文献问答的更大任务空间 diff --git a/concepts/itemic-text-alignment.md b/concepts/itemic-text-alignment.md new file mode 100644 index 0000000..3c020db --- /dev/null +++ b/concepts/itemic-text-alignment.md @@ -0,0 +1,42 @@ +--- +title: "Itemic-Text 对齐 (Itemic-Text Alignment)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [recommendation, alignment, cross-modal, perception] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# Itemic-Text 对齐 (Itemic-Text Alignment) + +> 将 [[itemic-tokens|itemic token]] 与自然语言 token 在语义空间中深度对齐，是为推荐系统解锁推理能力的前提条件。 + +## 问题 + +[[generative-recommendation|生成式推荐]] 中的 itemic token 是「语义空洞」的——模型只能学习表面的 token 转移模式，无法理解 token 背后代表的商品/视频/直播的语义内容。 + +## 解决方案 + +OneReason 在 Pre-training 阶段强化 itemic-text 对齐： + +- **Coarse-to-fine 对齐语料**：收集复杂多样的对齐预训练语料 +- **跨模态语义空间**：将新增的 itemic token 与 text token 在同一语义空间中对齐 +- **四粒度预训练**：不同粒度（token/item/sequence/session）的对齐样本 + +## 为什么对齐是推理的前提 + +借鉴多模态 LLM 的研究发现： + +1. **Alignment Failure 模式**：当视觉和文本模态未充分对齐时，模型会机械地「读取」表面视觉文本而非真正推理底层语义 +2. **Perception→Cognition 路径**：高级交互式推理无法在建立稳健跨模态感知对齐之前涌现 + +## 在 OneReason 框架中的位置 + +Itemic-text 对齐是 [[perception-cognition-recommendation|R0 (Perception)]] 的核心，为 R1-R3 各层推理提供语义基础。 + +## 参考 + +- [[itemic-tokens|Itemic Token]] +- [[perception-cognition-recommendation|感知-认知推荐层次]] +- [[onereason|OneReason]] +- [[generative-recommendation|生成式推荐]] diff --git a/concepts/itemic-tokens.md b/concepts/itemic-tokens.md new file mode 100644 index 0000000..db7d5da --- /dev/null +++ b/concepts/itemic-tokens.md @@ -0,0 +1,35 @@ +--- +title: "Itemic Token" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [recommendation, tokenization, generative-model] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# Itemic Token + +> 生成式推荐中表示单个 item 的特殊 token，将推荐转化为序列生成任务的基础抽象单元。 + +## 定义 + +在 [[generative-recommendation|生成式推荐]] 中，每个 item（商品、视频、直播等）被编码为一个特殊的 itemic token。整个用户行为历史被表示为 itemic token 序列，模型通过自回归生成下一个 token 来完成推荐。 + +## 核心特性 + +- **离散化表示**：将连续 item embedding 离散化为有限词表中的 token +- **序列化交互**：用户行为被扁平化为 token 序列，适用于 Transformer 自回归 +- **Scaling 兼容**：与 LLM 的 token 机制同构，可复用 LLM 的训练基础设施 + +## 关键挑战 + +- **语义空洞**：itemic token 本身不携带语言语义，模型只能学习表面转移模式 +- **CoT 构造障碍**：无法仅用 itemic token 构造有意义的 [[chain-of-thought|思维链]] +- **感知鸿沟**：需要 [[itemic-text-alignment|itemic-text 对齐]] 来为 token 注入语义 + +## 参考 + +- [[onerec|OneRec]] +- [[generative-recommendation|生成式推荐]] +- [[itemic-text-alignment|Itemic-Text 对齐]] +- [[onereason|OneReason]] diff --git a/concepts/iterative-reading.md b/concepts/iterative-reading.md new file mode 100644 index 0000000..9473d44 --- /dev/null +++ b/concepts/iterative-reading.md @@ -0,0 +1,60 @@ +--- +title: "Iterative Reading — Progressive Information Extraction from Literature" +type: concept +created: 2026-06-04 +tags: [information-extraction, iterative-process, llm-agent, scientific-literature] +sources: ["ma-intragent-2026"] +--- + +# Iterative Reading（迭代阅读） + +**定义**：[[intragent|IntrAgent]] 第二阶段的机制——按章节排序结果逐步阅读文献，提取关键细节，直至信息充分。 + +## 动作循环 + +每一步，Agent 从预定义的三个动作中选择： + +### 1. 重排序章节访问（Reordered Section Access） +- 从 [[section-ranking|章节排序]] 输出列表 C_R 中获取下一个章节 +- 确保按估计相关性降序阅读 +- 保持专注且高效的阅读轨迹 + +### 2. 章节细节提取（Section Detail Extraction） +- 从当前章节提取与查询相关的关键科学细节 Dᵢ +- 包括：术语、数值数据、实验设置、测量结果、统计指标、比较/因果陈述 +- 每个细节锚定到原始句子并存入短期记忆 +- 供最终答案合成使用 + +### 3. 信息充分性检查（Information Sufficiency Check） +- 这是抑制 [[hallucination-mitigation|幻觉]] 的核心机制 +- LLM 评估已积累的所有细节 {D₁, ..., Dₘ} 是否足以回答问题 Q +- 不足 → 继续读下一节（"NO"） +- 充分 → 终止循环（"YES"） + +## 三种置信度模式 + +| 模式 | 行为 | 开销 | +|------|------|------| +| 保守型 | 读少量章节即终止 | 低 | +| 平衡型（默认） | 中等章节数 | 中 | +| 激进型 | 读取更多章节 | 高 | + +## 最终答案合成 + +循环终止后（读 m 个章节），LLM 综合所有累积细节生成最终答案： +``` +A = LLM(D₁, ..., Dₘ, Q) +``` + +## 关键设计洞察 + +- **防止过早终止**：相关证据可能分散在多个非相邻章节——充分性检查跨节累积证据 +- **显式幻觉控制**：与 RAG 的隐式可靠性不同，充分性检查是显式的质量闸门 +- **自适应开销**：置信度模式在准确性与计算成本间提供可控权衡 + +## 相关概念 + +- [[section-ranking]] — 迭代阅读依赖的章节排序 +- [[sufficiency-check]] — 充分性检查机制 +- [[cross-section-synthesis]] — 跨节信息综合 +- [[hallucination-mitigation]] — 幻觉抑制 diff --git a/concepts/ito-calculus.md b/concepts/ito-calculus.md new file mode 100644 index 0000000..b7a8499 --- /dev/null +++ b/concepts/ito-calculus.md @@ -0,0 +1,56 @@ +--- +title: "Itô 微积分 (Itô Calculus)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, stochastic-processes, calculus, probability] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# Itô 微积分 (Itô Calculus) + +Itô 微积分是处理**随机过程积分和微分**的数学框架，是 [[stochastic-differential-equation|SDE]] 理论的核心工具。它在 [[ticks-to-flows|Ticks-to-Flows]] 论文中扮演了从离散到连续的桥梁角色。 + +## Itô 积分 + +将确定性的 Riemann 积分推广到随机积分： + +``` +∫_0^t σ(X_l) dW_l +``` + +其中 `dW_l` 是 [[wiener-process|Wiener 过程]]的增量。不同于确定性积分，Itô 积分使用**左端点取值**：`σ(X_{t_j}) * (W_{t_{j+1}} - W_{t_j})`。 + +## Itô 引理 (Itô's Lemma) + +随机版本的连锁法则（chain rule）——如果 `f(X_t)` 且 `X_t` 服从 SDE，则： + +``` +df(X_t) = f'(X_t) dX_t + (1/2) f''(X_t) σ(X_t)^2 dt +``` + +第二项（额外二阶项）是随机分析区别于确定性微积分的关键特征。 + +## Itô-Taylor 展开 + +在 [[ticks-to-flows|Tiwari et al. (2026)]] 的证明中，**Itô-Taylor 展开**被用于将状态随机变量 `s̃_{t,τ}` 表示为 NN 参数 `W^τ - W^0` 的多项式： + +``` +s̃_{t,τ} ≈ 多项式(W^τ - W^0) +``` + +这使得可以在梯度时间尺度上追踪状态分布的变化。 + +## 在 RL 理论中的应用 + +- 推导梯度步骤中状态分布的**瞬时变化方程** +- 证明**条件高斯极限**（结合 [[martingale-clt|鞅 CLT]]） +- 建立 [[two-time-scale-process|双时间尺度]] 过程的解析表达 + +## 参考 + +- [[stochastic-differential-equation|SDE]] +- [[wiener-process|维纳过程]] +- [[martingale-clt|鞅 CLT]] +- [[ticks-to-flows|Ticks to Flows]] diff --git a/concepts/jepa.md b/concepts/jepa.md new file mode 100644 index 0000000..eee9ca7 --- /dev/null +++ b/concepts/jepa.md @@ -0,0 +1,72 @@ +--- +title: "JEPA (Joint Embedding Predictive Architecture)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [world-model, LeCun, self-supervised-learning, representation-learning] +sources: [raw/articles/lecun-llm-boundary-future-2026.md, https://arxiv.org/abs/2301.08243, https://arxiv.org/abs/2603.19312] +--- + +# JEPA (Joint Embedding Predictive Architecture) + +**联合嵌入预测架构**，Yann LeCun 提出的自监督学习范式，是构建 [[world-model-lecun|世界模型]] 的核心方法论。 + +## 核心思想 + +**在抽象表征空间（而非像素或 token 空间）中做预测。** 与传统生成模型不同，JEPA 不试图重建输入细节，而是学习"什么样的表征是可预测的"。 + +## 数学框架 + +给定数据样本的两个不同视角 $O_t$ 和 $O_{t+1}$： + +$$Z_t = Enc(O_t), \quad Z_{t+1} = Enc(O_{t+1})$$ + +$$\hat{Z}_{t+1} = Pred(Z_t, a_t)$$ + +训练目标：最小化预测表征与真实表征的误差（非像素重建）： +$$\mathcal{L} = \|\hat{Z}_{t+1} - sg(Z_{t+1})\|^2$$ + +其中 $sg(\cdot)$ 表示 **stop-gradient**——防止预测器通过解码捷径"偷懒"，强制真正学会从 $s_x$ 推断 $s_y$。 + +## 与生成式模型的关键分叉 + +| 维度 | 生成式世界模型 (Genie/Sora/Dreamer) | JEPA | +|------|-----------------------------------|------| +| 训练目标 | 最大似然重建像素/token | 语义层可预测性 | +| 预测空间 | 像素空间（196K维） | 潜在空间（192维） | +| 容量分配 | 浪费于纹理、光照、水面折射等不可预测细节 | 集中于因果结构 | +| 规划能力 | 潜空间与决策脱节 | 潜空间可直接做轨迹优化 | +| 典型代表 | Sora, DreamerV3, Genie | I-JEPA, V-JEPA, LeWorldModel | + +## 为什么不在像素空间预测？ + +**水瓶类比**：推一个无盖水瓶的底部，它会在桌面滑动；推顶部，它可能翻倒——但你永远无法精确预测倒向哪个方向。像素空间的**不可约不确定性**（桌面微观摩擦、空气扰动、液体湍流）意味着建模 $P(pixel_{t+1}|action_t)$ 要求掌握从分子动力学到流体力学的全部物理知识。 + +## 核心组成 + +1. **联合编码器 (Joint Encoder)**：将 $x$ 和 $y$ 映射到同一潜在空间 $s_x$, $s_y$（共享权重） +2. **预测器 (Predictor)**：基于 $s_x$ 和可选动作条件 $a_t$，在潜在空间预测 $\hat{s}_y$ +3. **Stop-Gradient**：防止梯度通过 $s_y$ 回传——这是反[[representation-collapse|表征坍缩]]的关键技巧 + +## 防坍塌挑战 + +JEPA 训练面临的核心挑战是 **[[representation-collapse|表征坍缩]]**：模型将所有输入映射为同一向量，损失函数依然下降但什么也没学到。解决方案从对比学习 → 蒸馏方法(BYOL/DINO) → 显式正则化([[vicreg|VICReg]] → [[sigreg|SIGReg]])逐步演进。 + +## 从JEPA到世界模型 + +当 $a_t$ 扩展为动作条件时，JEPA 从表征学习工具变为世界模型： +> 给定当前状态表征 + 候选动作 → 预测未来状态表征 + +智能体可在想象的行动空间中迭代搜索最优动作序列——这正是 [[objective-driven-ai|目标驱动AI]] 的核心。 + +## 代表性工作 + +- **I-JEPA (2023)**：从图像学习语义表征 +- **V-JEPA (2024)**：从视频学习视觉表征 +- **[[leworldmodel|LeWorldModel]] (2026)**：首个端到端训练的 JEPA 世界模型，15M 参数从原始像素稳定训练 + +## 来源 + +- [[lecun-llm-boundary-future|LeCun 论 LLM 的边界与未来架构]] +- LeCun et al., *A Path Towards Autonomous Machine Intelligence* +- LeWorldModel: https://arxiv.org/abs/2603.19312 diff --git a/concepts/k-pass-training.md b/concepts/k-pass-training.md new file mode 100644 index 0000000..215a774 --- /dev/null +++ b/concepts/k-pass-training.md @@ -0,0 +1,52 @@ +--- +title: "K-Pass Training (K 遍训练)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [training-optimization, multi-turn-reasoning, efficiency] +sources: ["[[goru-one-pass-to-reason-2025]]"] +--- + +# K-Pass Training + +> [[goru-one-pass-to-reason-2025|One-Pass to Reason]] 中提出的训练方案连续统，在完全节省内存（N-Pass）和完全节省时间（1-Pass）之间提供灵活的速度–内存权衡。 + +## 动机 + +[[one-pass-fine-tuning|1-Pass]] 和 N-Pass 是两个极端： + +- N-Pass：每轮一次前向传播，最小内存，最慢速度 +- 1-Pass：整个对话一次前向传播，+33% 内存，最快速度 + +K-Pass 允许用户在这两个极端之间插值，按需选择内存/速度平衡点。 + +## 实现 + +1. **分块**：将 N 轮对话均分为 K 段，每段 ⌈N/K⌉ 轮 +2. **段内 1-Pass**：当前段内应用 token 复制 + 自定义掩码 +3. **段间顺序处理**：前段作为后段的固定上下文（不复制 token） +4. **Loss 隔离**：只计算当前段内 ti 和 ri_out 的 loss + +## 速度–内存权衡 + +| K | 语义 | 加速比 (8B) | 额外内存 | +|---|------|-----------|---------| +| 1 | 1-Pass（最快） | 1.54× | +34% | +| 2 | 平衡点 | 1.37× | +21% | +| 4 | — | 1.09× | +17% | +| 6 | — | 0.88× | +14% | +| N | N-Pass（最少内存） | 1.00× | 0% | + +**关键发现**：K > 4 后收益递减——长序列的 token 复制开销开始超过少量合并带来的节省。 + +## 推荐策略 + +- **内存充裕**：K=1（1-Pass），最大化速度 +- **内存适中**：K=2，用 21% 内存换取 37% 加速 +- **内存紧张**：K=4 或直接用 N-Pass + +## 相关 + +- [[one-pass-fine-tuning]] +- [[token-duplication]] +- [[goru-one-pass-to-reason-2025|One-Pass to Reason 论文]] diff --git a/concepts/kl-order.md b/concepts/kl-order.md new file mode 100644 index 0000000..0ed587f --- /dev/null +++ b/concepts/kl-order.md @@ -0,0 +1,43 @@ +--- +title: "KL 阶 (KL Order)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["singular-learning-theory", "information-geometry", "bridge-invariant"] +sources: ["[[dead-directions-geometric-singular-learning]]"] +--- + +# KL 阶 (KL Order) + +**KL 阶** k 是沿 [[dead-direction|Dead Direction]] 接近奇异集时 KL 散度趋于零的速率： + +``` +K(theta(t)) = c · t^{2k} + O(t^{2k+1}) +``` + +KL 散度在 t 处有 2k 阶零点——两倍于 KL 阶。 + +## 桥接不变量 + +KL 阶是[[singular-learning-theory|SLT]]和[[information-geometry|信息几何]]都可计算的少数不变量之一： + +- **SLT 解读**：法交形式中的指数——与 [[real-log-canonical-threshold|RLCT]] 直接相关 (lambda = 1/(2k)) +- **信息几何解读**：[[fisher-information-metric|Fisher 度量]]退化速率的驱动力 (u^T F u ~ t^{2(k-1)}) + +## 与 Deep Direction Fisher 衰减的关系 + +``` +k = 1: Fisher decay rate 0 (正则方向) +k = 2: Fisher decay rate 2 +k = 3: Fisher decay rate 4 +``` + +## 从 Checkpoint 计算 + +Shirodkar (2026) 证明可通过一次前向+反向传播计算 KL 阶——无需后验采样，无需消解。这使 SLT 分析在大规模网络上首次进入实践领域。 + +## 参考 +- [[dead-directions-geometric-singular-learning|Dead Directions]] +- [[dead-direction|Dead Direction]] +- [[real-log-canonical-threshold|RLCT]] +- [[watanabe-triple|Watanabe's Triple]] diff --git a/concepts/knowledge-injection.md b/concepts/knowledge-injection.md new file mode 100644 index 0000000..ad30836 --- /dev/null +++ b/concepts/knowledge-injection.md @@ -0,0 +1,24 @@ +--- +title: "知识注入 (Knowledge Injection)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [knowledge-injection, LLM, fine-tuning] +status: placeholder +--- + +# 知识注入 (Knowledge Injection) + +> ⚠️ 占位符页面 — 待完善 + +知识注入是将外部结构化或非结构化知识整合到 LLM 中的技术范式。与 RAG 不同，知识注入旨在将知识**内化**到模型参数中，而非作为检索上下文。 + +**核心论文**： +- [[kore-knowledge-injection|KORE]]：知识导向的知识注入控制 + +## 相关概念 + +- [[kore-knowledge-injection]] +- [[knowledge-internalization|知识内化]] +- [[knowledge-adaptation|知识适应]] +- [[evolving-knowledge-injection|进化知识注入]] diff --git a/concepts/latent-reasoning.md b/concepts/latent-reasoning.md new file mode 100644 index 0000000..bc98c03 --- /dev/null +++ b/concepts/latent-reasoning.md @@ -0,0 +1,50 @@ +--- +title: "潜在推理 (Latent Reasoning)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reasoning, architecture, inference] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# 潜在推理 (Latent Reasoning) + +潜在推理是一种推理范式，**将推理过程从离散 token 空间转移到连续表征空间**，克服了传统 [[chain-of-thought|思维链（CoT）]] 的信息瓶颈。 + +## 动机 + +在标准 CoT 中，高维 Transformer 隐藏状态必须在每一步坍缩为单个离散 token——这限制了推理的表达能力和信息容量。潜在推理直接在连续空间中操作这些隐藏状态，允许更丰富的推理轨迹。 + +## 核心机制 + +### 连续推理单元 + +潜在推理的推理步骤使用**连续向量**而非离散 token： +- **原始隐藏状态**：直接将 Transformer 最后一层的隐藏状态馈入后续步骤（如 [[coconut|COCONUT]]） +- **概率加权嵌入混合**：使用 top-k token 嵌入的 softmax 加权组合（如 [[soft-token]]） + +### 推理模式 + +- **纯潜在推理（Pure Latent）**：所有推理步骤都在潜空间中完成，不产生中间离散 token +- **混合推理（[[hybrid-reasoning]]）**：在离散 token 生成和潜在推理之间动态切换 + +## 优势与挑战 + +**优势**： +- 更高的表达能力和信息容量 +- 支持并行路径探索 +- Token 效率更高（推理压缩） + +**挑战**： +- **表征流形不匹配**：原始隐藏状态可能不在 token embedding 空间中 +- **灾难性遗忘**：长时间连续推理可能导致信息丢失 +- **确定性困境**：连续表征天然确定性，限制了 RL 策略探索——这是 [[tarpo|TARPO]] 等混合方法的切入点 + +## 参考 + +- [[tarpo|TARPO]] +- [[coconut|COCONUT]] +- [[continuous-representation|连续表征]] +- [[soft-token]] +- [[hybrid-reasoning|混合推理]] diff --git a/concepts/latent-score-mdp.md b/concepts/latent-score-mdp.md new file mode 100644 index 0000000..c4f692a --- /dev/null +++ b/concepts/latent-score-mdp.md @@ -0,0 +1,43 @@ +--- +title: "潜在得分 MDP (Latent-Score MDP)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mdp, reinforcement-learning, operations-research] +sources: [raw/papers/chen-bellman-taylor-score-2026.md] +confidence: high +--- + +# 潜在得分 MDP (Latent-Score MDP) + +潜在得分 MDP 是 [[bellman-taylor-score-decoding|BTSD]] 框架通过 [[action-decoder|动作解码器]] 从原始 MDP 诱导出的**等价决策问题**——其动作空间是欧氏得分空间 R^d 而非原始约束动作集。 + +## 诱导过程 + +原始 MDP: M = (S, {A(s)}, P, r, γ) → 解码器 Γ(s,z) → M̃: + +``` +M̃ = (S, Z, P̃, r̃, γ) + +其中: +- Z ⊆ R^d : 得分空间（无约束欧氏空间） +- r̃(s,z) = r(s, Γ(s,z)) : 诱导奖励 +- P̃(s'|s,z) = P(s'|s, Γ(s,z)) : 诱导转移核 +``` + +## 关键性质 + +1. **标准化接口**：动作空间是固定维度的连续空间，任何连续动作 DRL 都可用 +2. **可行性外置**：解码器 Γ 精确保证可行性，DLR 策略无需处理约束 +3. **无需求导解码器**：策略梯度 `∇log π(z|s)` 不涉及解码器 +4. **近似最优性**：M̃ 的最优策略近似原始 M 的最优策略（差距由 Taylor 余项控制） + +## 与原始 MDP 的差距 + +并非原始 M 的所有策略都能在 M̃ 中表示——解码器诱导的策略类是受限的。但 Taylor 展开的局部性质保证这个局限在合理范围内。 + +## 参考 + +- [[bellman-taylor-score-decoding|BTSD]] +- [[action-decoder|动作解码器]] +- [[state-dependent-feasible-action-sets|状态依赖可行动作集]] diff --git a/concepts/leopold-kronecker.md b/concepts/leopold-kronecker.md new file mode 100644 index 0000000..0c972bf --- /dev/null +++ b/concepts/leopold-kronecker.md @@ -0,0 +1,45 @@ +--- +title: "利奥波德·克罗内克尔 (Leopold Kronecker)" +created: 2026-06-07 +updated: 2026-06-07 +type: concept +tags: [数学家, 数学哲学, 构造主义, 19世纪数学] +--- + +# 利奥波德·克罗内克尔 (Leopold Kronecker, 1823–1891) + +德国数学家，数学构造主义的代表人物。以其对无穷概念的坚决反对和对 [[georg-cantor|康托尔]] 的压制而闻名。 + +## 哲学立场 + +克罗内克尔是数学有限主义（finitism）的坚定拥护者，其名言： + +> "上帝创造了整数，其余一切都是人造的。" + +他认为只有能够通过有限步骤构造出来的数学对象才是合法的。无穷——尤其是康托尔所研究的[[infinity-hierarchy|无穷层级体系]]——在他看来毫无意义。 + +## 与康托尔的冲突 + +- 克罗内克尔是当时最权威的数学期刊《克雷勒杂志》的编辑委员会成员 +- 他利用自己的影响力阻碍康托尔关于无穷的论文发表 +- 他对康托尔的打压被认为是导致康托尔晚年精神问题的重要因素之一 + +## 在康托尔1874年论文中的角色 + +克罗内克尔的反无穷立场直接影响了康托尔的选择： +- 康托尔设置了"特洛伊木马"——以代数数的可数性（看似不那么激进）为标题 +- 康托尔隐瞒了狄德金的贡献，部分原因也是因为克罗内克尔对狄德金怀有敌意 +- 与克罗内克尔的死对头狄德金共同署名将导致论文无法发表 + +参见 [[cantor-stole-infinity|窃取无穷的数学家]] 了解完整历史。 + +## 学术遗产 + +尽管克罗内克尔在与康托尔的争论中处于历史"输家"一方，但他的构造主义思想影响了20世纪数学基础的大讨论，包括直觉主义（布劳威尔）和形式主义（希尔伯特）的论争。 + +## 相关条目 + +- [[georg-cantor|格奥尔格·康托尔]] +- [[infinity-hierarchy|无穷层级体系]] +- [[set-theory-history|集合论史]] +- [[cantor-stole-infinity|窃取无穷的数学家]] diff --git a/concepts/leworldmodel.md b/concepts/leworldmodel.md new file mode 100644 index 0000000..f2f212f --- /dev/null +++ b/concepts/leworldmodel.md @@ -0,0 +1,75 @@ +--- +title: "LeWorldModel" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [world-model, JEPA, LeCun, SIGReg, planning] +sources: [raw/articles/lecun-llm-boundary-future-2026.md, https://arxiv.org/abs/2603.19312] +--- + +# LeWorldModel + +2026年3月 LeCun 团队发表的首个端到端训练的 [[jepa|JEPA]] 世界模型，15M 参数，从原始像素稳定训练。是 LeCun 在访谈中**唯一推荐**的具体世界模型论文。 + +## 架构 + +### 编码器 (ViT-Tiny, ~5M 参数) + +| 配置 | 值 | +|------|-----| +| 架构 | Vision Transformer | +| Patch Size | 14×14 | +| 层数 | 12 | +| 注意力头 | 3 | +| 隐藏维 | 192 | +| 输出 | [CLS] token → MLP + **BatchNorm** → 潜在表示 | + +> ⚠️ 使用 BatchNorm 而非 LayerNorm：LayerNorm 限制表示分布方差，阻碍 [[sigreg|SIGReg]] 有效优化。 + +### 预测器 (Transformer, ~10M 参数) + +| 配置 | 值 | +|------|-----| +| 层数 | 6 | +| 注意力头 | 16 | +| Dropout | 10% | +| 动作注入 | AdaLN (自适应层归一化) | + +- 动作条件通过 AdaLN 注入每层，参数初始化为零（渐进式影响） +- 时间因果掩码自回归预测下一帧表示 + +### 训练目标 + +$$\mathcal{L} = \underbrace{\|\text{Pred}(Enc(O_t), a_t) - Enc(y)\|^2}_{\text{预测损失}} + \underbrace{\lambda \cdot SIGReg(Z)}_{\text{高斯正则化}}$$ + +将 PLDM 的 **7 项损失 + 6 个超参**压缩为 **2 项 + 1 个 $\lambda$**。 + +## 性能 + +| 指标 | 结果 | +|------|------| +| Push-T 成功率 | **96%**（PLDM 提升 18%） | +| 训练稳定性 | 单调收敛，无损失项拉扯 | +| 规划速度 vs DINO-WM | **快 ~50×**（token数减少 ~200×） | +| 参数规模 | 15M（vs DINO-WM 依赖 DINOv2 1.24亿图像预训练） | + +## 局限 + +1. **短视界规划**：自回归推演误差随规划长度累积 +2. **离线数据依赖**：简单场景中 SIGReg 强制高维高斯先验可能适得其反 +3. **动作标签依赖**：需显式动作标签（可用逆动力学建模缓解） +4. **非通用世界模型**：实验限于 Push-T、Reacher、TwoRoom、OGBench-Cube 等低维受控任务 + +## 定位 + +**JEPA 路线的重要里程碑，而非世界模型的最终答案。** 验证了 JEPA 世界模型路线的工程可行性，但尚未证明开放世界中的长期推理和跨场景泛化。 + +LeCun 12-18个月规划：工业场景演示（机器人 + 工业过程控制）。 + +## 参考 + +- [[lecun-llm-boundary-future|Datawhale 系统梳理]] +- [[maes-leworldmodel-2026|LeWorldModel 论文]] +- [[jepa|JEPA]] +- [[sigreg|SIGReg]] +- [[world-model-lecun|LeCun 世界模型]] diff --git a/concepts/lifecycle-aware-harness.md b/concepts/lifecycle-aware-harness.md new file mode 100644 index 0000000..38ab556 --- /dev/null +++ b/concepts/lifecycle-aware-harness.md @@ -0,0 +1,58 @@ +--- +title: "Lifecycle-Aware Harness（生命周期感知 Harness）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, harness, lifecycle, architecture] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +confidence: high +--- + +# Lifecycle-Aware Harness + +> Life-Harness 的核心架构理念：将 Agent 交互分解为生命周期阶段，每阶段部署专门的接口干预——而非将 Harness 视为单一整体进行优化。 + +## 生命周期分解 + +传统 Harness 优化（如 Meta-Harness、AHE）将 Harness 视为**自由形式的代码制品**进行搜索或持续编辑。Lifecycle-Aware Harness 则将交互分解为四个明确的阶段： + +``` +交互前 → 任务条件化时 → 动作执行前 → 执行后 + ❶ ❷ ❸ ❹ +契约层 技能层 实现层 调控层 +``` + +每层有明确的职责边界： +- ❶ 契约层：输出增强后的环境可见契约 C′ +- ❷ 技能层：从技能记忆库检索相关技能并注入 Prompt +- ❸ 实现层：在提交环境前验证动作、阻断无效调用 +- ❹ 调控层：监控轨迹动态、检测退化、触发恢复 + +## 为什么生命周期分解重要 + +失败模式与交互阶段高度绑定： +- 契约问题 → 在交互开始前就应该解决 +- 格式问题 → 在动作提交前就应该阻断 +- 退化问题 → 只有在执行后轨迹中才可检测 + +将 Harness 分解为生命周期层意味着： +- **精准干预**：每层只处理自己阶段的问题，不干扰其他阶段 +- **可组合**：各层可独立优化和评估 +- **可审计**：每层干预的触发条件明确，效果可追踪 + +## 与整体式 Harness 优化的对比 + +| 维度 | 整体式（Meta-Harness） | 生命周期式（Life-Harness） | +|------|----------------------|--------------------------| +| 抽象层次 | 自由形式代码 | 结构化接口层 | +| 干预粒度 | 全局搜索/编辑 | 阶段特定的固定干预 | +| 可解释性 | 低（代码作为整体优化） | 高（每层理由明确） | +| 确定领域适用性 | 有限 | 强（利用环境确定性） | + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[runtime-harness-adaptation|Runtime Harness Adaptation]] +- [[environment-contract-layer|环境契约层]] +- [[procedural-skill-layer|程序技能层]] +- [[action-realization-layer|动作实现层]] +- [[trajectory-regulation-layer|轨迹调控层]] diff --git a/concepts/linear-quadratic-regulator.md b/concepts/linear-quadratic-regulator.md new file mode 100644 index 0000000..1a60c7b --- /dev/null +++ b/concepts/linear-quadratic-regulator.md @@ -0,0 +1,54 @@ +--- +title: "线性二次调节器 (Linear Quadratic Regulator)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [control-theory, continuous-control, benchmark, optimization] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 线性二次调节器 (Linear Quadratic Regulator) + +LQR 是**最优控制理论中最经典的基准问题**——系统动力学为线性，代价函数为二次型。在 [[ticks-to-flows|Ticks-to-Flows]] 中用作验证实验环境。 + +## 问题形式 + +动力学：`s_{t+1} = A s_t + B a_t + noise` + +代价（负奖励）：`cost = Σ (s_t^T Q s_t + a_t^T R a_t)` + +目标：找到使累积代价最小的线性策略 `a_t = -K s_t`。 + +## 在实验中的配置 + +Ticks-to-Flows 使用的简化 LQR： + +``` +g(s) = s（自驱动漂移） +h(s) = 1（动作通道） +σ(s) = 0.1（小噪声） +r(s) = -500 s^2（强惩罚偏离原点） +s_0 = 2.0, T = 1, Δt = 0.02 +``` + +扩展到多维 ds = 2, 8, 32。 + +## 为什么选择 LQR + +1. **有解析解**：Ricatti 方程给出最优策略 +2. **可验证性**：理论预测可与最优解对比 +3. **线性化兼容**：LQR 本身的线性结构与 NN 的 [[linearized-neural-network|线性化]] 一致 +4. **标度性**：可测试不同状态维度上的扩展性 + +## 与理论结果的关联 + +Theorem 6.1 的预测（5 变量封闭系统）在 LQR 上得到经验验证： +- 理论模型为离散模拟（图 6 中黑色虚线）与经验 actor-critic 轨迹高度吻合 +- 1D 到 32D 均能学到接近最优的策略 + +## 参考 + +- [[control-affine-mdp|控制仿射 MDP]] +- [[ticks-to-flows|Ticks to Flows]] +- [[continuous-time-rl|连续时间 RL]] diff --git a/concepts/linear-representation-hypothesis.md b/concepts/linear-representation-hypothesis.md new file mode 100644 index 0000000..a57a47c --- /dev/null +++ b/concepts/linear-representation-hypothesis.md @@ -0,0 +1,41 @@ +--- +title: "Linear Representation Hypothesis" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [interpretability, representation-geometry, steering] +sources: [raw/papers/xu-why-steering-works-2026.md] +confidence: medium +--- + +# Linear Representation Hypothesis（线性表示假说） + +## 定义 + +线性表示假说（LRH）认为：高级语义概念在神经网络表示空间中近似编码为线性方向或子空间。形式化：存在方向向量 $\omega$ 和偏置 $b$ 使得概念强度近似为 $\omega^T h + b$。 + +## 来源 + +该假说源于词嵌入的类比推理（Mikolov et al., 2013: king - man + woman ≈ queen），后被推广到 LLM 中间层（Nanda et al., 2023; Park et al., 2024; Tigges et al., 2023）。 + +## 在 Steering 中的作用 + +LRH 是激活导向 ([[activation-steering]]) 的理论基础： +- 偏好概率可建模为 logistic 形式：$P(p_p|h) = \sigma(-(\omega_p^T h + b_p))$ +- 导向向量 $\Delta h$ 对齐于偏好方向 $\omega_p$ +- 投影增益 $\alpha_p = \omega_p^T \Delta h$ 量化导向效果 + +## 激活流形框架中的扩展 + +Xu et al. (2026) 在 LRH 基础上引入激活流形约束： +- LRH 解释了偏好随 m 线性增长的机制 +- 流形有效性衰减 $D(m)$ 解释了线性关系在中大 m 区间的破裂 + +## 相关概念 + +- [[activation-steering]] — LRH 的直接应用 +- [[activation-manifold]] — 对 LRH 的几何约束 +- [[preference-log-odds]] — LRH 下的偏好形式化 +- [[steering-vector]] — 导向向量提取 +- [[representation-space]] — 表示空间几何 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/linearized-neural-network.md b/concepts/linearized-neural-network.md new file mode 100644 index 0000000..37b3fef --- /dev/null +++ b/concepts/linearized-neural-network.md @@ -0,0 +1,64 @@ +--- +title: "线性化神经网络 (Linearized Neural Network)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [deep-learning, theory, neural-networks, ntk] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 线性化神经网络 (Linearized Neural Network) + +线性化 NN 是将神经网络在**初始参数附近进行一阶 Taylor 展开**的理论工具，是 [[infinite-width-limit|无限宽度理论]] 的核心技术。 + +## 形式 + +对于两层的 actor 网络 `F(s; W)`，在初始化 `W^0` 附近线性化： + +``` +F_lin(s; W) = F(s; W^0) + Φ(s; W^0)(W - W^0) +``` + +其中 `Φ(s; W^0)` 是 Jacobian（tangent features），包含每个隐藏神经元的衍生特征： + +``` +Φ_κ(s; W^0) = C_κ^0 φ'(W_κ^0 · s) s^T +``` + +## 关键性质 + +1. **W 线性**：输出是参数 W 的线性函数（但非输入 s 的线性函数） +2. **特征固定**：tangent features Φ 在训练中不变化 → **lazy regime** +3. **高斯输出**：在大宽度下，输出近似服从高斯分布（by CLT） +4. **梯度简便**：梯度更新公式大幅简化 + +## 为什么用线性化 + +在 [[ticks-to-flows|Ticks-to-Flows]] 的证明中，线性化使得： + +- 状态 `s̃_{t,τ}` 可以表示为参数 `W^τ - W^0` 的**多项式**（通过 [[ito-calculus|Itô-Taylor 展开]]） +- 梯度更新公式（Equation 5）在参数空间中闭合 +- [[martingale-clt|鞅 CLT]] 可应用于条件高斯极限的推导 + +## 与 NTK 的关系 + +在大宽度下，线性化模型的 kernel 趋近于 [[neural-tangent-kernel|Neural Tangent Kernel (NTK)]]： + +``` +K(s, s') = E[Φ(s; W^0) · Φ(s'; W^0)] +``` + +NTK 描述了参数梯度之间的点积，决定了训练的动力学。 + +## 局限性 + +- Lazy training：特征不演化，限制了表征学习 +- 需要 `η = O(1/sqrt(n))` 的小学习率 +- 实际应用中不完全成立（特征学习是深度学习的关键优势） + +## 参考 + +- [[neural-tangent-kernel|NTK]] +- [[infinite-width-limit|无限宽度极限]] +- [[ticks-to-flows|Ticks to Flows]] diff --git a/concepts/llama-factory.md b/concepts/llama-factory.md new file mode 100644 index 0000000..cc62fb4 --- /dev/null +++ b/concepts/llama-factory.md @@ -0,0 +1,29 @@ +--- +title: "LLaMA-Factory" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [fine-tuning, framework, llm, placeholder] +sources: [] +--- + +# LLaMA-Factory + +> 统一的高效 LLM 微调框架（Zheng et al., ACL 2024），支持 100+ 模型和多种微调方法（LoRA、QLoRA、全参数等）。 + +## 核心能力 + +- 支持 SFT、RLHF、DPO 等多种训练范式 +- 内置序列打包（neat packing）支持 +- 量化微调（QLoRA、4-bit NF4） +- 实验管理 CLI（`llamafactory-cli`） + +## 在 One-Pass to Reason 中的应用 + +[[goru-one-pass-to-reason-2025]] 完全基于 LLaMA-Factory 实现，使用 `llamafactory-cli` 在 SFT 模式下进行 [[one-pass-fine-tuning|单遍微调]] 实验。 + +## 相关 + +- [[goru-one-pass-to-reason-2025|One-Pass to Reason]] +- [[qlora]] +- [[lora]] diff --git a/concepts/llm-based-temporal-point-process.md b/concepts/llm-based-temporal-point-process.md new file mode 100644 index 0000000..9d7517a --- /dev/null +++ b/concepts/llm-based-temporal-point-process.md @@ -0,0 +1,53 @@ +--- +title: "LLM 时间点过程 (LLM-based TPP)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, llm, multimodal, event-modeling] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# LLM 时间点过程 (LLM-based TPP) + +LLM-based TPP 将大语言模型的表征能力引入事件序列建模，代表了 TPP 研究从"事件发生过程建模"向"带时间戳事件数据理解"的重要范式转变。 + +## 两大范式 + +### 1. LLM-inspired TPP + +保留神经 TPP 作为事件动态的主要模型，借用 LLM 机制增强适应性和可解释性： + +- **PromptTPP** (Xue et al., 2023b)：将 prompt learning 引入神经 TPP，用少量可学习 prompt 适应分布偏移，无需存储历史数据或重训练 +- **LAMP** (Shi et al., 2024)：LLM 增强的溯因推理管道：基础 TPP 生成候选事件 → LLM 生成因果解释 → 检索历史事件验证 → 打分选择 + +### 2. Direct LLM-TPP Integration + +将 LLM 直接作为事件序列的核心模型： + +- **TPP-LLM** (Liu & Quan, 2024)：用文本描述替代类别标记，LoRA 微调适配时序预测，但时间信息通过外部位置编码注入 +- **Language-TPP** (Kong et al., 2025)：将连续时间间隔编码为 byte-level token，与自然语言在同一 token 序列中统一处理，实现更紧密的时间-语义融合 + +## 范式转变 + +LLM-based TPP 不仅引入新模型架构，更扩展了 TPP 的研究议程： + +- 从纯概率建模 → 语义丰富的多模态事件理解 +- 新增任务：事件序列检索、问答、多模态推理 +- 自然连接事件流与自由文本、外部知识库 + +## 多模态扩展 + +- **TPP-Embedding** (Liu & Quan, 2025)：时序事件检索 benchmark，对比学习对齐序列嵌入与文本描述 +- **DanmakuTPPBench** (Jiang et al., 2025)：多模态 TPP benchmark，包含文本+时间戳+视频帧的弹幕数据 + +## 局限与挑战 + +- 在纯时序预测 benchmark 上优势不明显 +- 时间对齐、不确定性校准、可控性仍是开放问题 +- 部分任务（检索、QA）已超出传统 TPP 定义边界 + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[neural-temporal-point-process|神经 TPP]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/logfire.md b/concepts/logfire.md new file mode 100644 index 0000000..39efcb8 --- /dev/null +++ b/concepts/logfire.md @@ -0,0 +1,56 @@ +--- +title: "Logfire" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [observability, open-telemetry, pydantic, agent, drift-detection] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# Logfire + +> 基于 [[open-telemetry|OpenTelemetry]] 标准的可观测平台，由 [[pydantic|Pydantic]] 团队开发。核心价值：4 行代码拿到完整 Agent span 树 + 数据不锁定厂商 + SQL 查询 trace。 + +## 4 行代码接入 + +```python +import logfire +from pydantic_ai import Agent + +logfire.configure() +logfire.instrument_pydantic_ai() +agent = Agent('openai:gpt-4o', instrument=True) +``` + +自动记录的 span 树： +``` +agent.run (根，总耗时 + token 成本) +├── chat gpt-4o (model request) +├── tool.search_weather (参数 + 返回) +├── tool.web_search +└── chat gpt-4o (follow-up) +``` + +## 漂移检测 + +Logfire 的核心价值不是 UI——而是 **[[drift-detection|漂移检测]]**。当你用传统日志只能看到"第 47 次报错了"时，Logfire 让你在"第 32 次开始不对劲"时就看到趋势。 + +案例：Sophos 安全团队发现 Agent tool 调用频率从每 50 次推理 1 次涨到每 8 次 1 次——用 SQL 查询 trace 发现的，传统日志看不出来。 + +## OTel 标准优势 + +- 数据不锁定厂商：可自托管，可导出到 Grafana/Jaeger +- 可架 OpenTelemetry Collector 做数据清洗/采样 +- 标准语义：`gen_ai.operation.name`、`gen_ai.usage.input_tokens` 等框架层自动遵守 + +## 部署选项 + +- SaaS：$49/mo 起（10M records/month） +- 自托管：OTel Collector 前置，多后端分发 + +## 参考 + +- [[open-telemetry|OpenTelemetry]] +- [[drift-detection|漂移检测]] +- [[agent-observability|Agent 可观测性]] +- [[pydantic-three-piece-suite|Pydantic 三件套]] diff --git a/concepts/logical-model-interaction.md b/concepts/logical-model-interaction.md new file mode 100644 index 0000000..21bd437 --- /dev/null +++ b/concepts/logical-model-interaction.md @@ -0,0 +1,52 @@ +--- +title: "交互逻辑模型 (Logical Model of Interactions)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [interactions, logical-model, DNN, LLM, interpretability] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# 交互逻辑模型 (Logical Model of Interactions) + +## 定义 + +交互逻辑模型 $\phi(\cdot)$ 是由 [[and-or-interactions|AND-OR 交互]] 构建的、用于逼近 DNN 输出分数的可解释模型。给定输入 $x'$： + +$$\phi(x') = \sum_{T \in \Omega^{\text{and}}} I_T^{\text{and}} \cdot \mathbb{1}(\text{AND}_T) + \sum_{T \in \Omega^{\text{or}}} I_T^{\text{or}} \cdot \mathbb{1}(\text{OR}_T) + b$$ + +## 关键性质 + +### 通用匹配性 (Universal Matching Property) + +逻辑模型可以在**所有 $2^n$ 个掩码状态**上以 $\epsilon$ 精度逼近原 LLM 输出： + +$$\forall x' \in \Psi, \quad |\phi(x') - v(x')| < \epsilon$$ + +其中 $\Psi = \{x_S \mid S \subseteq N\}$ 为 $2^n$ 个掩码状态的空间。 + +### LLM 输出分数的定义 + +在 LLM 语境下，输出分数 $v(x)$ 定义为生成目标 token 序列的置信度： + +$$v(x) = \sum_{i=1}^{m} \log \frac{p(y = y_i \mid x, y_i^{\text{preceding}})}{1 - p(y = y_i \mid x, y_i^{\text{preceding}})}$$ + +## 在 SFT 分析中的角色 + +在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 中，逻辑模型是追踪 SFT 过程中交互演变的基础工具： + +1. 在每个 SFT 时间点 $t$，从 LLM 中提取 AND-OR 交互构建 $\phi_t$ +2. 比较 $\phi_t$ 与 $\phi_{t-1}$，识别 [[interaction-types-sft|三类交互]] 的变化 +3. 计算 [[interaction-generalizability|泛化性 γ]] 和 [[uncancelled-interaction-effects|未抵消效应 ρ]] 评估交互质量 + +## 计算考量 + +交互提取的计算复杂性与 Shapley 值类似（指数级），但已有多种近似算法和工程优化使其在实际中可用。LLM 通常仅关注少量显著文本段，进一步降低了计算成本。 + +## 相关概念 + +- [[and-or-interactions|AND-OR 交互]] +- [[interaction-based-explanation|交互基解释]] +- [[interaction-types-sft|SFT 中的三类交互]] +- [[shapley-values]] diff --git a/concepts/lora.md b/concepts/lora.md new file mode 100644 index 0000000..1006819 --- /dev/null +++ b/concepts/lora.md @@ -0,0 +1,38 @@ +--- +title: "LoRA (Low-Rank Adaptation)" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [fine-tuning, peft, llm] +sources: [raw/papers/xu-why-steering-works-2026.md] +confidence: medium +--- + +# LoRA（低秩适配） + +## 定义 + +LoRA（Low-Rank Adaptation, Hu et al., 2022）是一种参数高效微调方法，通过冻结原始权重 $W$ 并训练低秩更新 $\Delta W = BA$（$B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times k}, r \ll \min(d,k)$）来适配模型。 + +推理时：$W \leftarrow W + \Delta W = W + BA$ + +## 在统一动态权重视角中 + +在 Xu et al. (2026) 的统一框架中，带缩放系数的 LoRA 表达为： + +$$h_{i+1} = (W + mBA)h_i + b$$ + +$$\Delta h = m(BA h_i)$$ + +LoRA 是**仅修改 W**（不修改 b）的动态权重更新，参数规模为 $d_{in} \times r + r \times d_{out}$。 + +## 导向动态 + +LoRA 与其他干预形式一样呈现三阶段偏好动态和效用衰减，其表现与 Local Weight 方法高度一致。 + +## 相关概念 + +- [[dynamic-weight-updates]] — 统一框架中的 LoRA 位置 +- [[activation-steering]] — b-only 的动态更新 +- [[steering-dynamics]] — LoRA 的偏好-效用动态 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/macro-level-token-economics.md b/concepts/macro-level-token-economics.md new file mode 100644 index 0000000..48ba005 --- /dev/null +++ b/concepts/macro-level-token-economics.md @@ -0,0 +1,39 @@ +--- +title: "Macro-Level Token Economics" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [token-economics, ecosystem, market, pricing] +sources: [[chen-token-economics-llm-agents]] +--- + +# Macro-Level Token Economics + +**宏观 Token 经济学**是 Token Economics 四维分类法中的第三层，关注 **Agent 生态系统层面的 Token 资源配置和定价问题**。理论基础：机制设计理论（Mechanism Design）和拥堵经济学（Congestion Economics）。 + +## 核心问题 + +当多个 Agent 系统共享有限的 Token 生产能力（GPU 算力、API 配额）时，产生两类系统级问题： +1. **拥堵外部性**：一个 Agent 的过量 Token 消耗降低其他 Agent 的可用资源 +2. **定价与市场结构**：Token 生产者的垄断/寡头竞争如何影响生态效率 + +## 生态角色 + +| 角色 | 功能 | Token 经济学意义 | +|------|------|-----------------| +| **生产者** | Token 提供商（API、算力） | 边际成本定价 vs 市场势力定价 | +| **消费者** | Agent 系统/终端用户 | 预算约束下的需求弹性 | +| **监管者** | 平台治理、配额管理 | 拥堵费、优先级调度、配额上限 | + +## 经济学理论映射 + +- **拥堵外部性**：每个 Agent 的 Token 消耗对整体系统造成负外部性（排队延迟、算力竞争）——需要通过定价内部化 +- **生产者竞争**：当前 LLM API 市场是差异化寡头（OpenAI、Anthropic、Google 各有不同的"Token 产品"），竞争兼顾价格和能力 +- **经济护城河**：自研芯片 + 训练基础设施构成生产端的进入壁垒 +- **动态调整**：Token 定价随需求实时变化，类似电力市场的实时定价机制 + +## 与微观/中观的关系 + +- [[micro-level-token-economics|微观]] 解决单一 Agent 预算约束内的要素替代 +- [[meso-level-token-economics|中观]] 解决多 Agent 协作的通信开销 +- 宏观解决：当所有 Agent 都在优化时，系统是否达到均衡？是否有效率损失？ diff --git a/concepts/marked-temporal-point-process.md b/concepts/marked-temporal-point-process.md new file mode 100644 index 0000000..85affea --- /dev/null +++ b/concepts/marked-temporal-point-process.md @@ -0,0 +1,53 @@ +--- +title: "标记时间点过程 (Marked TPP)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, multivariate, mark-space] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# 标记时间点过程 (Marked Temporal Point Process) + +标记 TPP 是 TPP 的自然推广——每个事件不仅有时间戳，还附带一个"标记"（mark），表示事件类型或附加属性。 + +## 定义 + +标记序列： +``` +T = ((t_1, k_1), ..., (t_N, k_N)) +``` +其中 `k_n` 是第 n 个事件的标记，标记空间可是连续的（如价格）或离散的（如事件类别）。 + +## 多元 TPP（Multivariate TPP） + +当标记为离散类别时，标记 TPP 等价于多元 TPP——K 种事件类型对应 K 个一元 TPP，通过条件强度函数交叉耦合： + +``` +lambda*_k(t) = f_k(H_{t-}) +``` + +这是 [[granger-causality-tpp|Granger 因果发现]] 的数学基础。 + +## 条件分布 + +标记 TPP 的条件分布可以分解为时间和标记的联合分布： + +``` +f(t, k | H_{t_n}) = f_time(t | H_{t_n}) * f_mark(k | t, H_{t_n}) +``` + +这种分解使得模型可以先预测时间再预测类型，或联合建模。 + +## 在神经 TPP 中的处理 + +- **共享表征**：RNN/Transformer 的隐状态 `h_n` 同时编码历史中的时间和标记信息 +- **输出头**：两个独立输出头分别预测时间（如混合对数正态的均值和方差）和标记（如 softmax） +- **损失函数**：联合负对数似然 = time NLL + mark NLL + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[hawkes-process|Hawkes 过程]]（最常见的多元 TPP 实例） +- [[granger-causality-tpp|Granger 因果发现]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/martingale-clt.md b/concepts/martingale-clt.md new file mode 100644 index 0000000..1c05c9c --- /dev/null +++ b/concepts/martingale-clt.md @@ -0,0 +1,54 @@ +--- +title: "鞅中心极限定理 (Martingale CLT)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [probability, mathematics, theory, clt] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 鞅中心极限定理 (Martingale CLT) + +鞅 CLT 是将经典中心极限定理推广到**鞅差序列**的版本。在 [[ticks-to-flows|Ticks-to-Flows]] 论文中，它是证明梯度更新量服从条件高斯分布的核心工具。 + +## 什么是鞅 + +鞅（Martingale）是满足以下性质的随机过程 `{M_n}`： + +``` +E[M_{n+1} | F_n] = M_n +``` + +即：在已知过去信息 `F_n` 的条件下，下一步的期望值等于当前值。"公平游戏"的数学抽象。 + +鞅差：`D_n = M_n - M_{n-1}`，满足 `E[D_n | F_{n-1}] = 0`。 + +## 经典 vs 鞅 CLT + +| 条件 | 经典 CLT | 鞅 CLT | +|------|---------|--------| +| 独立同分布 | ✓ | ✗ | +| 条件期望为 0 | N/A | ✓ | +| 条件方差稳定 | N/A | ✓（Lindberg 条件） | + +鞅 CLT 要求更弱——只需要条件（而非无条件）独立性。 + +## 在 Ticks-to-Flows 中的应用 + +1. **条件 CLT**：在大宽度 NN 下，梯度更新量 `Δv_{t,τ}` 在给定状态轨迹的条件下服从高斯分布 +2. **对应 LLN**：同时使用鞅大数定律（LLN）获得均值的确定表达式 +3. **O(1/sqrt(n)) 误差**：通过 Berry-Esseen 类定理量化收敛速度 + +## 证明结构 + +流程：`Itô-Taylor 展开 → 状态多项式 → 鞅 CLT → 条件高斯极限` + +其中鞅 CLT 是"多项式 → 高斯"这一步的关键桥梁。 + +## 参考 + +- [[ito-calculus|Itô 微积分]] +- [[infinite-width-limit|无限宽度极限]] +- [[stochastic-differential-equation|SDE]] +- [[ticks-to-flows|Ticks to Flows]] diff --git a/concepts/mathchatsync-reasoning.md b/concepts/mathchatsync-reasoning.md new file mode 100644 index 0000000..410aca3 --- /dev/null +++ b/concepts/mathchatsync-reasoning.md @@ -0,0 +1,48 @@ +--- +title: "MathChatSync Reasoning" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [dataset, multi-turn-reasoning, math] +sources: ["[[goru-one-pass-to-reason-2025]]"] +--- + +# MathChatSync Reasoning + +> [[goru-one-pass-to-reason-2025|One-Pass to Reason]] 论文中创建并发布的首个公开多轮推理数据集，基于 MathChatSync 用 GPT-4.1-mini 合成推理 token。 + +## 背景 + +现有的推理模型（[[deepseek-r1]] 等）主要在单轮推理数据上训练。缺乏公开的多轮推理数据集是 [[multi-turn-reasoning|多轮推理训练]] 研究的瓶颈。 + +## 构建方法 + +1. **源数据**：MathChatSync（Liang et al., 2024）—— 多轮数学对话数据集 +2. **推理合成**：用 GPT-4.1-mini 为每个助手回复生成推理 token +3. **条件**：推理生成基于对话历史和当前助手回复内容 + +## 特点 + +- **多轮结构**：每个对话包含 N 轮交替的人类消息和助手回复 +- **显式推理**：每个助手回复 ai = (ti, ri)，包括 reasoning token 和 response token +- **对话深度**：1–16 轮（受 MathChatSync 分布影响，偏 5–7 轮） + +## 实验分组 + +论文按对话深度将数据分为三组： +- **G1**：1–5 轮 +- **G2**：6–7 轮 +- **G3**：8–16 轮 + +实验中验证了深度越大，[[one-pass-fine-tuning|1-Pass]] 加速越明显（符合 O(N²) vs O(N³) 的理论预测）。 + +## 获取 + +- HuggingFace: `devrev-research/MathChatSync-reasoning` +- 论文代码: `github.com/devrev/One-Pass-to-Reason` + +## 相关 + +- [[multi-turn-reasoning]] +- [[goru-one-pass-to-reason-2025|One-Pass to Reason 论文]] +- [[synthetic-data|合成数据]] diff --git a/concepts/mathematical-priority-disputes.md b/concepts/mathematical-priority-disputes.md new file mode 100644 index 0000000..a0391be --- /dev/null +++ b/concepts/mathematical-priority-disputes.md @@ -0,0 +1,42 @@ +--- +title: "数学优先权争议" +created: 2026-06-07 +updated: 2026-06-07 +type: concept +tags: [数学史, 学术伦理, 科学社会学] +--- + +# 数学优先权争议 + +数学史上反复出现的主题：谁第一个发现了某个定理？署名是否公正？这些争议不仅关乎历史真相，也反映了科学作为一种社会活动的本质。 + +## 经典案例 + +### 牛顿 vs 莱布尼茨（微积分） +17-18世纪最著名的优先权之争。牛顿和莱布尼茨各自独立发明微积分，但谁先谁后的争论持续数十年，导致英国与欧洲大陆数学界长期分裂。 + +### 康托尔 vs 狄德金（无穷理论） +[[richard-dedekind|狄德金]] 1873年为 [[georg-cantor|康托尔]] 提供了[[algebraic-numbers-countability|代数数可数性]]的证明，但康托尔1874年独自署名发表。直到2025年失踪信件的发现才提供了确凿证据。详见 [[cantor-stole-infinity|窃取无穷的数学家]]。 + +### 卡丹公式 +16世纪，卡尔达诺（Cardano）承诺保密却公开了塔尔塔利亚（Tartaglia）的三次方程解法，引发了激烈冲突。 + +## 结构性问题 + +费雷罗斯指出："每一门科学分支都需要一位英雄……但这种故事总是谎言。"优先权争议揭示了： + +1. **孤独天才的神话**：科学发展往往是协作的产物，但主流叙事偏好单一英雄 +2. **权力不对称**：处于学术中心的人物更容易获得署名和历史记忆 +3. **档案的偶然性**：狄德金信件失踪150年，许多历史真相可能永远无法还原 +4. **荣誉准则的演变**：[[emmy-noether|诺特]]选择"让信件说明一切"而不公开指控——这是20世纪初的学术伦理，与今日标准不同 + +## 反思 + +> 无论狄德金贡献了多少，康托尔仍然是第一个证明实数不可数的人。但承认狄德金的角色，让数学史更加完整和真实。 + +## 相关条目 + +- [[georg-cantor|格奥尔格·康托尔]] +- [[richard-dedekind|里夏德·狄德金]] +- [[set-theory-history|集合论史]] +- [[cantor-stole-infinity|窃取无穷的数学家]] diff --git a/concepts/mc-dropout.md b/concepts/mc-dropout.md new file mode 100644 index 0000000..224d13f --- /dev/null +++ b/concepts/mc-dropout.md @@ -0,0 +1,50 @@ +--- +title: "MC Dropout (Monte Carlo Dropout)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["bayesian-deep-learning", "uncertainty-quantification", "dropout"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# MC Dropout (Monte Carlo Dropout) + +**MC Dropout**（Gal & Ghahramani, 2016）是实践中最简便的贝叶斯不确定性估计方法：训练时使用 Dropout 正则化，推理时**保持 Dropout 激活**并执行 T 次随机前向传播。 + +## 理论基础 + +训练时使用 Dropout 的神经网络近似于深度高斯过程中的变分贝叶斯推断。推理时保持 Dropout 等价于从近似后验中采样。 + +## 算法 + +``` +for t = 1 to T: + z_t = f_theta(x) with dropout active +y_hat = (1/T) * sum z_t # 预测均值 +sigma^2_epistemic = (1/T) * sum (z_t - y_hat)^2 # 认知不确定性 +``` + +## 参数选择 + +- **Dropout 概率 p**：通常 0.3-0.5。在 [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 中 p = 0.3 +- **采样次数 T**：T 越大估计越稳定，T 越小推理越快，通常 T = 10-50 +- **Dropout 位置**：通常在每一层后应用 + +## 优势与局限 + +| 优点 | 局限 | +|------|------| +| 实现极简（无需修改训练代码） | 近似质量受 Dropout 概率影响 | +| 与现有架构兼容 | 推理时计算量为 T 倍 | +| 提供认知不确定性估计 | 不能直接估计随机不确定性 | + +## 与其他方法的比较 + +- **Deep Ensembles**：更准确但计算成本更高（M 个独立网络） +- **[[bayesian-deep-learning|Bayes by Backprop]]**：更严格但训练不稳定 +- **[[variational-autoencoder|VAE]]**：学习潜分布，适合结构化潜空间 + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[epistemic-uncertainty|认知不确定性]] +- [[bayesian-deep-learning|贝叶斯深度学习]] diff --git a/concepts/mechanistic-interpretability.md b/concepts/mechanistic-interpretability.md new file mode 100644 index 0000000..0866e6a --- /dev/null +++ b/concepts/mechanistic-interpretability.md @@ -0,0 +1,51 @@ +--- +title: "机制可解释性 (Mechanistic Interpretability)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [interpretability, safety, alignment] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 机制可解释性 (Mechanistic Interpretability) + +机制可解释性（mech interp）研究神经网络的**内部计算机制**——不仅关注模型输出什么，更关注模型内部如何表示和处理信息。 + +## 核心理念 + +将神经网络视为可逆向工程的计算系统。目标是： + +1. **分解**：将网络分解为可理解的组件 +2. **理解**：揭示每个组件执行的计算 +3. **验证**：通过干预实验确认因果关系 + +## 关键挑战 + +[[polysemanticity|多义性]] 是最大障碍——单个神经元同时编码多个概念；[[superposition|叠加]]是其根源。这使得直接的神经元分析不可靠。 + +## 主要工具 + +- **[[sparse-autoencoder|稀疏自编码器（SAE）]]**：通过过完备稀疏字典解耦叠加表征 +- **探针（probes）**：训练线性分类器检测隐藏状态中的概念 +- **激活修补（activation patching）**：干预特定激活观察因果效应 +- **[[formal-concept-analysis|形式概念分析]]**：系统化组织神经元-概念多对多关系 + +## 理论框架 + +[[geometric-sae-concepts|Zhang et al. (2026)]] 提出集合论几何框架： + +- 概念 = 数据点集合（数据扎根视角，非柏拉图） +- 概念学习 = 人类概念 C 与模型概念 θ 的集合对齐 +- 神经元解释 = 给定神经元集合 M，描述其表征的概念 + +## 与 [[linear-representation-hypothesis|线性表征假设]] 的关系 + +该假设声称概念对应于激活空间中的方向且可线性组合——这是 SAE 等技术的基础信念。几何框架将其推广到任意可测集合（不限于线性方向）。 + +## 参考 + +- [[sparse-autoencoder|SAE]] +- [[polysemanticity|多义性]] +- [[superposition|叠加]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/meso-level-token-economics.md b/concepts/meso-level-token-economics.md new file mode 100644 index 0000000..b4a1eb3 --- /dev/null +++ b/concepts/meso-level-token-economics.md @@ -0,0 +1,40 @@ +--- +title: "Meso-Level Token Economics" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [token-economics, multi-agent, collaboration] +sources: [[chen-token-economics-llm-agents]] +--- + +# Meso-Level Token Economics + +**中观 Token 经济学**是 Token Economics 四维分类法中的第二层，关注**多 Agent 系统中的 Token 协作效率**。理论基础：交易成本理论（Transaction Cost Theory）和委托代理理论（Principal-Agent Theory）。 + +## 核心问题 + +Multi-Agent 系统中，Agent 之间的通信、委托和协调都转化为额外的 Token 开销——这在单 Agent 设置中不存在。核心优化目标： + +``` +min TC_collaboration = TC_communication + TC_orchestration + TC_memory_sharing +``` + +## 三大协作 Token 消耗源 + +| 来源 | 描述 | 优化方向 | +|------|------|---------| +| **通信 Token** | Agent 间消息传递 | 消息压缩、选择性通信、广播优化 | +| **编排 Token** | 任务分解与调度 | 规划者 Agent 推理压缩、模板化委托 | +| **记忆共享 Token** | 跨 Agent 知识同步 | 共享记忆池、去重、增量同步 | + +## 经济学理论映射 + +- **交易成本**：每次 Agent 间交互都有"搜索成本"（找到正确通信对象）、"谈判成本"（确定任务参数）和"执行成本"（实际通信的 Token 消耗） +- **委托代理**：规划者（Principal）需要设计激励机制（系统提示）使执行者（Agent）在信息不对称下高效工作 +- **协作规模不经济**：随着 Agent 数量增加，通信复杂度增长是 O(n²)，Token 消耗可能呈超线性增长 + +## 与已有概念的连接 + +- [[multi-agent-safety|多 Agent 安全]] 关注信息流安全，中观 Token 经济学关注通信效率 +- [[agent-communication-stack|Agent 通信栈]] 提供了通信层次的结构视角 +- [[multi-agent-orchestration|多 Agent 编排]] 直接对应编排 Token 的优化 diff --git a/concepts/micro-level-token-economics.md b/concepts/micro-level-token-economics.md new file mode 100644 index 0000000..3e17512 --- /dev/null +++ b/concepts/micro-level-token-economics.md @@ -0,0 +1,45 @@ +--- +title: "Micro-Level Token Economics" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [token-economics, single-agent, efficiency] +sources: [[chen-token-economics-llm-agents]] +--- + +# Micro-Level Token Economics + +**微观 Token 经济学**是 Token Economics 四维分类法中的第一层，关注**单个 Agent 的 Token 资源配置**问题。理论基础：新古典企业理论（Neoclassical Theory of the Firm）和要素替代理论（Factor Substitution）。 + +## 核心公式 + +``` +min TC = Σ(token_i × price_i) s.t. Quality ≥ Z +``` + +在满足输出质量阈值 Z 的前提下，最小化总 Token 消耗成本。这本质上是带约束的生产要素组合优化问题。 + +## 五维要素 + +| 要素 | 对应模块 | 优化方向 | +|------|---------|---------| +| **推理 Token** | Planning & Reasoning | CoT 压缩、推理步骤精简 | +| **计算 Token** | Inference | KV-cache 共享、投机解码 | +| **记忆 Token** | Context & Memory | 压缩、摘要、检索替代存储 | +| **工具 Token** | Tool Use & Retrieval | 精准调用、批量操作 | +| **框架 Token** | Agent Framework | 减少框架级元数据开销 | + +## 要素替代关系 + +关键经济洞见：不同 token 类型之间存在**替代弹性**： +- 推理 vs 记忆：更多推理步骤可以减少需要保留的上下文（少存多想） +- 工具 vs 记忆：更多工具调用可以减少需要记忆的信息（及时查询不存） +- 推理 vs 工具：更精准的查询可以避免冗长的推理 + +最优组合取决于要素的相对"价格"（不同 token 类型的单位成本因模型和硬件而异）。 + +## 与已有概念 + +- [[token-efficiency|Token 效率]] 专注视觉 token 压缩，属于计算 Token 的子类 +- [[cost-quality-speed-trilemma|三元悖论]] 给出了多目标约束的边界 +- [[agent-token-budget-optimization|预算优化]] 是此层的具体方法论 diff --git a/concepts/mineru.md b/concepts/mineru.md new file mode 100644 index 0000000..32c8291 --- /dev/null +++ b/concepts/mineru.md @@ -0,0 +1,35 @@ +--- +title: "minerU — PDF-to-Markdown for Scientific Literature" +type: concept +created: 2026-06-04 +tags: [pdf-parsing, document-processing, tool, open-source] +sources: ["ma-intragent-2026"] +--- + +# minerU + +**定义**：minerU 是一个用于科学文献 PDF 解析的开源视觉模型，能够将 PDF 文档转换为结构化 Markdown 格式，同时保留章节层级、表格、公式和图片信息。 + +## 在 IntrAgent 中的角色 + +[[intragent|IntrAgent]] 使用 minerU 作为 PDF 预处理管道的第一步： +1. 将输入文献 PDF 转换为 Markdown `C'` +2. 统一添加 `#` 和 `##` 标记 +3. 为后续的 [[section-ranking|章节排序]] 和 [[iterative-reading|迭代阅读]] 提供结构化输入 + +## 能力 + +- **布局检测**：识别章节标题、段落、表格、图片区域 +- **章节识别**：自动提取章节层级结构 +- **公式处理**：保留 LaTeX 数学公式 +- **表格提取**：结构化表格数据 + +## 重要性 + +在科学文献处理管道中，PDF → 结构化文本的转换质量直接决定了后续推理的准确率。minerU 的视觉模型方法比传统的规则式 PDF 解析（如 pdftotext）能更好地保留文档结构。 + +## 相关概念 + +- [[section-ranking]] — 使用 minerU 输出的章节标题 +- [[hierarchy-preservation]] — 使用 minerU 输出的层级信息 +- [[pdf-processing]] — 更广泛的 PDF 处理工具和方法 diff --git a/concepts/minimax-optimality.md b/concepts/minimax-optimality.md new file mode 100644 index 0000000..9c4687f --- /dev/null +++ b/concepts/minimax-optimality.md @@ -0,0 +1,46 @@ +--- +title: "Minimax 最优性 (Minimax Optimality)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["statistical-learning-theory", "lower-bounds", "information-theory"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# Minimax 最优性 (Minimax Optimality) + +**Minimax 最优性**指算法的上界与问题的信息论下界匹配——即不可能有算法在 worst-case 下做得更好。 + +## 形式化 + +对于问题类 P 和算法 A： + +- **上界**：对任意问题实例 p in P，R(A, p) <= U(T) +- **下界**：存在分布 D over P，任何算法满足 E_p[R] >= L(T) +- **Minimax 最优**：U(T) = Theta(L(T)) + +## 在 POMG 策略后悔中 + +[[minimax-policy-regret-pomg|Arora (2026)]] 建立了 POMG 中策略后悔的完整 minimax 特征： + +**上界**： +``` +PR(T) <= C * H * sqrt(beta_T * d_E * T) + polylog(T) +``` + +**下界**：任何算法必须满足 +``` +PR(T) >= Omega(sqrt(d_E * T)) +``` +即使在最简单的设置中（fully revealing POMG + 固定无记忆对手）。 + +→ 上下界在 sqrt(T) 和 d_E 依赖性上均匹配 → **minimax 最优** + +## 下界构造 + +下界通过将多臂赌博机（MAB）实例编码到 POMG 的观测结构中构造，使得任何能在 POMG 中获得更好策略后悔的算法也可以在 MAB 中获得超最优的 regret——这与已知的 MAB 下界矛盾。 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[policy-regret|Policy Regret]] +- [[eluder-dimension|Eluder Dimension]] diff --git a/concepts/model-free-rl.md b/concepts/model-free-rl.md new file mode 100644 index 0000000..3f6d5e3 --- /dev/null +++ b/concepts/model-free-rl.md @@ -0,0 +1,48 @@ +--- +title: "Model-Free 强化学习 (Model-Free RL)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["deep-rl", "reinforcement-learning"] +sources: ["[[predictive-representations-scalable-mtrl]]"] +--- + +# Model-Free 强化学习 (Model-Free RL) + +**Model-Free RL** 直接学习策略或价值函数，不显式建模环境动力学。与之相对的是 model-based RL，后者学习转移模型 T(s'|s,a) 和奖励模型 R(s,a)。 + +## 经典算法 + +| 类型 | 算法 | +|------|------| +| Value-based | DQN, Rainbow | +| Policy-based | PPO, TRPO | +| Actor-Critic | TD3, SAC | + +## 优势 + +- **简单**：无需维护 world model +- **高效**：每步仅需一次前向传播 +- **稳定**：无模型误差累积问题 + +## 传统局限 + +- **样本效率低**：无 model 辅助 → 需更多环境交互 +- **表征质量差**：仅靠 TD 误差驱动 → 稀疏信号 +- **Scaling 差**：模型增大无收益（甚至退化） + +## 新范式：Model-Free + 预测表征 + +[[predictive-representations-scalable-mtrl|Obando-Ceron et al. (2026)]] 证明：通过在 model-free agent（如 [[mrq-algorithm|MR.Q]]）中加入[[auxiliary-predictive-objectives|辅助预测目标]]，可以同时获得： + +- Model-free 的简单高效 +- Model-based 的表征学习优势 +- 无需规划的代价 + +这代表了 model-free 和 model-based 之间的**第三条路**。 + +## 参考 +- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]] +- [[mrq-algorithm|MR.Q]] +- [[world-models-rl|World Models]] +- [[predictive-representation-learning|Predictive Representation Learning]] diff --git a/concepts/model-steering.md b/concepts/model-steering.md new file mode 100644 index 0000000..1df3fd0 --- /dev/null +++ b/concepts/model-steering.md @@ -0,0 +1,39 @@ +--- +title: "Model Steering" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, controllability, llm] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Model Steering（模型导向控制） + +> 占位符页面 — 关于 LLM 导向控制的更广泛文献 + +## 概述 + +Model Steering 泛指在推理时通过修改模型内部表示或参数来控制 LLM 行为的技术，包括但不限于： + +- **激活导向** ([[activation-steering]])：向隐藏状态添加方向向量 +- **参数干预**：局部权重微调、LoRA ([[lora]]) 适配 +- **推理时对齐**：通过系统提示或上下文控制 + +## 统一视角 + +Xu et al. (2026) 的 [[dynamic-weight-updates]] 框架将所有方法统一为动态权重更新，揭示了它们共享的 [[preference-utility-analysis|preference–utility 折衷]] 规律。 + +## 核心挑战 + +- **偏好-效用折衷**：更强控制 → 更高偏好 + 更低效用 +- **方向选择**：如何找到最优的 $\Delta W$ / $\Delta b$ +- **强度调节**：$m$ 的最佳取值依赖于具体任务 + +## 相关概念 + +- [[activation-steering]] +- [[lora]] +- [[dynamic-weight-updates]] +- [[steering-vector]] +- [[split-steering]] +- [[controlled-text-generation]] diff --git a/concepts/moe-lora-toolchain-conflict.md b/concepts/moe-lora-toolchain-conflict.md new file mode 100644 index 0000000..6f8df7b --- /dev/null +++ b/concepts/moe-lora-toolchain-conflict.md @@ -0,0 +1,44 @@ +--- +title: "MOE + LoRA 工具链冲突" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [moe, lora, post-training, toolchain, engineering] +sources: [raw/articles/qifu-llm-finance-practice-2026.md] +--- + +# MOE + LoRA 工具链冲突 + +奇富科技王元披露的**现实工程阻碍**：MOE (Mixture of Experts) 模型在进行后训练（RL + LoRA）时，主流框架 VeRL **不支持**，导致无法使用 LoRA 的灵活性。 + +## 问题本质 + +- MOE 模型在推理吞吐量上有明显优势（vs Dense 模型） +- 但后训练工具链对 MOE 支持不完善 +- VeRL 框架不支持 MOE 模型的 RL+LoRA +- 部分场景**被迫退回全参微调**，成本大幅上升 + +## 影响 + +| 方案 | MOE 兼容 | Dense 兼容 | 成本 | 灵活性 | +|------|---------|-----------|------|--------| +| SFT + LoRA | 部分支持 | ✅ | 低 | 高 | +| RL + LoRA (VeRL) | ❌ | ✅ | 中 | 高 | +| RL + 全参微调 | ✅ | ✅ | 高 | 低 | + +## 对后训练路径选择的影响 + +这一冲突直接影响 [[pre-hoc-reasoning-rl|前置推理 RL]] 的可行性——因为前置推理 RL 需要 LoRA 灵活性，而 MOE 模型不支持，导致实际可选路径受限。 + +## 工程启示 + +- **基模选型需反向约束训练策略**：选 MOE 就要接受后训练工具链受限 +- **信创硬件环境下的 vLLM 版本兼容性**也是额外阻碍 +- 如果业务需要灵活的 LoRA 后训练，应优先选择 **Dense 模型** +- MOE 的推理吞吐优势可能被训练灵活性损失抵消 + +## 参考 + +- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享 +- [[post-hoc-reasoning-rl|后置推理 RL]] — MOE 兼容的替代方案 +- [[pre-hoc-reasoning-rl|前置推理 RL]] — 受此冲突限制的高成本方案 diff --git a/concepts/monocular-video-to-4d.md b/concepts/monocular-video-to-4d.md new file mode 100644 index 0000000..d6a2a7b --- /dev/null +++ b/concepts/monocular-video-to-4d.md @@ -0,0 +1,48 @@ +--- +title: "单目视频到 4D (Monocular Video to 4D)" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, 3d-reconstruction, 4d-generation, video-processing] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# 单目视频到 4D (Monocular Video to 4D) + +Flex4DHuman 从单目静态相机视频生成可交互动态 4D 资产的端到端管线，代表了从"需要多相机采集设备"到"随手拍即可生成 4D"的范式转变。 + +## 完整管线 + +``` +单目视频（静态相机） + ↓ +Flex4DHuman 多视角视频生成 → 同步密集多视角视频 + ↓ +MatAnyone2 前景分割 → 提取主体前景 + ↓ +FreeTimeGS 4D 重建 → 动态高斯泼溅（4DGS） + ↓ +Marble 场景组合 → 置入生成的 3D 世界 + ↓ +SparkJS 浏览器渲染 → 可交互浏览 +``` + +## 各阶段详解 + +1. **多视角生成**（Flex4DHuman）：用户指定目标相机位姿，模型生成所有目标视角的同步视频 +2. **前景分割**（MatAnyone2）：从生成的多视角视频中提取主体，分离前景和背景 +3. **4D 重建**（FreeTimeGS）：从多视角视频重建 [[4d-gaussian-splatting|动态高斯泼溅]] 表示——支持任意时间/视角的自由视点渲染 +4. **场景组合**（Marble）：将重建的 4D 角色置入生成的 3D 场景 +5. **交互渲染**（SparkJS）：浏览器端实时渲染，支持游戏引擎级交互 + +## 意义 + +- **降低采集门槛**：从多相机采集设备 → 单目手机拍摄 +- **生成式重建**：不依赖显式几何先验（骨骼/深度/法线），生成即重建 +- **端到端可组合**：4D 资产可直接嵌入 3D 世界，用于 AR/VR、游戏、模拟 + +## 参考 + +- [[flex4dhuman|Flex4DHuman]] — 管线第一步的核心模型 +- [[4d-gaussian-splatting|动态高斯泼溅]] — 4D 表示方法 +- [[freetimegs|FreeTimeGS]] — 使用的具体 4DGS 方法 diff --git a/concepts/mrq-algorithm.md b/concepts/mrq-algorithm.md new file mode 100644 index 0000000..cd62728 --- /dev/null +++ b/concepts/mrq-algorithm.md @@ -0,0 +1,54 @@ +--- +title: "MR.Q 算法 (MR.Q Algorithm)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["deep-rl", "model-free-rl", "actor-critic", "predictive-learning"] +sources: ["[[predictive-representations-scalable-mtrl]]"] +--- + +# MR.Q 算法 (MR.Q Algorithm) + +**MR.Q**（Fujimoto et al., 2025）是一个 model-free RL agent，其核心创新是将[[auxiliary-predictive-objectives|预测目标]]整合进 TD 学习以塑造表征。 + +## 架构 + +``` +观测 s_t, 任务 tau → 编码器 phi → 潜状态 z_t + ↓ + Actor pi(a|z) + Twin Critics Q(z,a) + ↓ + 预测头: z_{t+1}, r_t, d_t +``` + +## 核心组件 + +1. **编码器** phi_xi: (s_t, tau) -> z_t — 观测+任务到潜空间 +2. **Actor-Critic**：TD3 风格的 twin Q-network + 确定性策略 +3. **预测模块**：从 (z_t, a_t) 预测 (z_{t+1}, r_t, d_t) +4. **梯度流**：预测损失回传至编码器 → 塑造表征 + +## 关键设计选择 + +- **不做规划**：预测模型仅用于表征学习，不做潜空间 rollout +- **共享编码器**：Actor、Critic、预测头共享同一个编码器 +- **TD3 基础**：twin critics 缓解过估计偏差 + +## 为什么叫 MR.Q + +MR = Model-based Representations（基于模型的表征） +Q = Q-learning / Critic + +即：使用 model-based 的表征学习 + model-free 的控制。 + +## 在 [[predictive-representations-scalable-mtrl|多任务扩展]]中 + +- 扩展到语言条件多任务设置（遵循 Newt 协议） +- 10M steps 低数据区间评估（vs 传统 100M） +- 全部 10 个 MMBench 域上超越 Newt + +## 参考 +- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]] +- [[predictive-representation-learning|Predictive Representation Learning]] +- [[auxiliary-predictive-objectives|Auxiliary Predictive Objectives]] +- [[model-free-rl|Model-Free RL]] diff --git a/concepts/multi-agent-safety.md b/concepts/multi-agent-safety.md new file mode 100644 index 0000000..01e9251 --- /dev/null +++ b/concepts/multi-agent-safety.md @@ -0,0 +1,35 @@ +--- +title: "Multi-Agent Safety" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-safety, multi-agent, coordination, information-flow] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# Multi-Agent Safety + +**多 Agent 安全**关注多智能体系统中的安全风险，特别是 Agent 之间的通信、委托和边界穿越引入的安全攻击面扩展。由 [[harnessaudit|HarnessAudit]] 首次在统一的骨架级审计框架中系统性评测。 + +## 单 Agent vs 多 Agent 安全风险 + +| 维度 | 单 Agent | 多 Agent | +|------|---------|---------| +| 主要风险来源 | 资源访问越界 | 资源访问 + 信息流泄露 | +| SAR(tool) | 0.91 | 0.64 | +| SAR(resource) | 0.85 | 0.63 | +| SAR(info-flow) | N/A | 0.58 | + +多 Agent 场景下，**协调扩展了安全风险面**：共享资源和 Agent 间通信引入了单 Agent 设置中不存在的违规路径。 + +## 核心风险 + +1. **信息流泄露**：大多数信息流违规是敏感信息泄露而非授权接收方错误——Agent 能正确识别通信对象，但无法控制共享内容 +2. **角色越界**：关键角色（负责资源访问、跨角色协调、最终执行）的 Agent 更可能穿越安全边界 +3. **框架差异**：不同 [[multi-agent-orchestration|多 Agent 编排框架]] 的安全表现差异显著——OpenClaw 在工具、资源和信息流三个维度的安全性均低于 Google ADK 和 OpenAI Agent SDK + +## 与现有工作的关系 + +- [[agent-communication-stack|Agent 通信栈]] 定义了通信层次，多 Agent 安全关注通信中的信息边界 +- [[agent-network-topology|Agent 网络拓扑]] 影响安全风险传播路径 +- [[harness-as-policy]] 的策略约束在多 Agent 中需要同时控制工具权限和通信权限 diff --git a/concepts/multi-dimensional-synthetic-data.md b/concepts/multi-dimensional-synthetic-data.md new file mode 100644 index 0000000..5c16721 --- /dev/null +++ b/concepts/multi-dimensional-synthetic-data.md @@ -0,0 +1,48 @@ +--- +title: "多维合成数据 (Multi-Dimensional Synthetic Data)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [synthetic-data, data-augmentation, llm-training, finance] +sources: [raw/articles/qifu-llm-finance-practice-2026.md] +--- + +# 多维合成数据 (Multi-Dimensional Synthetic Data) + +奇富科技王元提出的**零数据场景下的训练数据构建策略**，通过三维度 Prompt 多样性生成丰富多样的合成数据。 + +## 背景 + +在银行营销业务的商机挖掘场景中，不仅没有标注，连输入 X 都没有——既没有历史录音也没有商机标签 Ground Truth。用大模型直接测试标签 F1 值仅 70%+，无法做传统蒸馏。只能从基模做 LoRA 后训练，但训练数据需要比测试数据多一个数量级。 + +## 三维度策略 + +构建数据多样性的核心是构建**生成数据流水线的 Prompt 多样性**： + +### 维度一：企业客户多样性 +模拟目标客户画像： +- 行业资产（如轻资产企业，切断不动产字段） +- 贸易特征（纯内贸切断外汇字段） +- 资金状况（急缺资金强制绑定急融标签） + +### 维度二：录音场景多样性 +模拟物理环境和噪音层级： +- 设备操作噪音 +- 纯闲聊场景 +- 对抗性极强的负样本（如讨论个人房贷而非企业融资） + +### 维度三：语音录制人多样性 +模拟客户经理的不同行为特征： +- **谨慎的新手**：线性逻辑、自我修正、口吃 +- **老练的资深经理**：结论先行、迅速切入 + +## 关键洞察 + +- 零数据场景下，生成数据的质量取决于 **Prompt 多样性的维度设计**，而非简单的数量堆积 +- 多维采样和提示词流水线设计需要覆盖**对抗性负样本**和**行为边界** +- 这是一种"用 Prompt 工程来工程化数据分布"的策略——通过 Prompt 空间的结构化采样来逼近真实分布 + +## 参考 + +- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享 +- [[zero-data-cold-start|零数据冷启动]] — 该方法要解决的核心问题 diff --git a/concepts/multi-step-planning.md b/concepts/multi-step-planning.md new file mode 100644 index 0000000..6426818 --- /dev/null +++ b/concepts/multi-step-planning.md @@ -0,0 +1,54 @@ +--- +title: "多步规划 (Multi-Step Planning)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [planning, search, world-model, LeCun, intelligence] +sources: [raw/articles/lecun-llm-boundary-future-2026.md] +--- + +# 多步规划 (Multi-Step Planning) + +智能系统应具备的核心能力之一，LeCun 认为 LLM **缺失**的第二大能力。在多种可能的行动路径之间搜索最优方案。 + +## 核心关系 + +> **搜索以预测为前提。** + +- 没有[[world-model-lecun|世界模型]]告诉系统"走这条路会到哪里" → 搜索只能盲目试错 +- 有预测能力后：推进一步→评估结果→调整方向→再推进 → **"预测→评估→修正"闭环** + +## 为什么不能穷举搜索？ + +围棋 19×19 棋盘合法局面数约 $10^{170}$，超过宇宙原子总数。AlphaGo Zero 之所以成功，是因为训练出了**价值网络**——一个简化的世界模型，让搜索从漫无目的的穷举变成有方向的剪枝。 + +## LLM vs 世界模型的搜索差异 + +| 维度 | LLM (CoT/ToT) | 世界模型 (JEPA) | +|------|--------------|-----------------| +| 搜索空间 | **语言空间**（token序列） | **状态空间**（抽象表征） | +| 比较对象 | "哪段推理链读起来更合理" | "执行这个行动后现实状态会变成什么" | +| 本质 | 换一种"说法" | 换一种"走法" | + +语言空间的搜索和真实世界状态空间之间存在**一道没有被填上的 gap**——这是 LLM 搜索能力的根本瓶颈。 + +## JEPA 中的多步规划 + +[[jepa|JEPA]] 的搜索直接在世界模型构建的状态空间中进行： +1. Actor 提出候选行动 +2. 世界模型预测每个行动后的状态 +3. 成本模块评估距目标的远近 +4. 调整行动方案 → 滚动多步 → 真正的多步规划 + +**不只是在"生成一段听起来合理的推理文字"。** + +## 局限 + +JEPA 能否在开放世界中完成可靠多步规划仍是开放问题——现实状态空间远比围棋复杂，没有明确规则和胜负信号。 + +## 来源 + +- [[lecun-llm-boundary-future|原始文章]] +- [[action-consequence-prediction|预测行动后果]] +- [[jepa|JEPA]] +- [[world-model-lecun|LeCun 世界模型]] diff --git a/concepts/multi-teacher-on-policy-distillation.md b/concepts/multi-teacher-on-policy-distillation.md new file mode 100644 index 0000000..86ae177 --- /dev/null +++ b/concepts/multi-teacher-on-policy-distillation.md @@ -0,0 +1,43 @@ +--- +title: "Multi-Teacher On-Policy Distillation (MODPO)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [reinforcement-learning, distillation, on-policy] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# Multi-Teacher On-Policy Distillation (MODPO) + +> 多教师在线策略蒸馏方法，在 OneReason 的 [[specialize-then-unify-rl|specialize-then-unify RL]] 中用于跨域平衡。 + +## 核心思想 + +MODPO (Xiao et al., 2026) 在 RL 训练过程中同时从多个教师模型蒸馏知识： + +1. **多教师**：各单域专项模型作为教师，提供域内推理能力 +2. **在线策略 (On-Policy)**：学生模型在训练过程中持续生成，教师实时提供指导信号 +3. **蒸馏**：将教师的知识压缩到统一的学生模型中 + +## 在 OneReason 中的应用 + +在 Unify 阶段，MODPO 替代或补充 [[rejection-sampling-fine-tuning|RSFT]]： + +- 从短视频域教师、直播域教师等多个专项模型中蒸馏 +- 在 RL 训练过程中实现在线跨域平衡 +- 避免离线 RSFT 中采样分布偏移的问题 + +## 与 RSFT 的对比 + +| 维度 | RSFT | MODPO | +|------|------|-------| +| 模式 | 离线 | 在线 | +| 数据 | 预采样+筛选 | 训练中实时生成 | +| 教师 | 可选多教师 | 显式多教师 | +| 分布偏移 | 可能有 | 无（on-policy） | + +## 参考 + +- [[specialize-then-unify-rl|Specialize-then-Unify RL]] +- [[rejection-sampling-fine-tuning|RSFT]] +- [[onereason|OneReason]] diff --git a/concepts/multi-turn-reasoning.md b/concepts/multi-turn-reasoning.md new file mode 100644 index 0000000..4b4afec --- /dev/null +++ b/concepts/multi-turn-reasoning.md @@ -0,0 +1,61 @@ +--- +title: "Multi-Turn Reasoning Training (多轮推理训练)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [multi-turn-reasoning, fine-tuning, llm-training] +sources: ["[[goru-one-pass-to-reason-2025]]"] +--- + +# Multi-Turn Reasoning Training + +> 在包含多轮对话且每轮需要显式推理的数据上微调语言模型的问题域及其独特挑战。 + +## 与传统多轮对话的区别 + +| 特性 | 多轮对话微调 | 多轮推理微调 | +|------|------------|------------| +| 推理 token | 无 | 有（ti），每轮生成后丢弃 | +| 注意力约束 | 标准因果 | 推理 token 对后续轮次不可见 | +| 训练效率 | 可单遍处理 | 传统需要 N 遍（[[one-pass-fine-tuning|One-Pass]] 可解决） | +| 位置编码 | 连续 | 存在 [[position-id-discrepancy|位置 ID 偏差]] | + +## 核心挑战 + +### 1. [[visibility-constraint|可见性约束]] + +推理模型遵循行业惯例（OpenAI, 2024; Anthropic, 2025）： +1. 生成推理 token（ti） +2. 基于 ti 生成回复（ri） +3. **丢弃 ti**，后续轮次只能看到历史中的 ri + +这意味着训练时不能简单地用一个因果掩码处理整个对话——ti 对 aj>i 必须是不可见的。 + +### 2. [[position-id-discrepancy|位置 ID 偏差]] + +回复 token ri 的位置在两种场景中不同： +- 生成时：ri 跟在 ti 后面 +- 作为上下文时：ri 直接跟在 hi 后面 + +直接串联会导致位置编码错误。 + +## 现有模型的局限 + +- **DeepSeek-R1**、**o1** 等推理模型主要基于单轮推理数据训练 +- 缺乏公开的多轮推理数据集 → 论文提出了 [[mathchatsync-reasoning|MathChatSync Reasoning]] + +## 解决方案 + +[[goru-one-pass-to-reason-2025|One-Pass to Reason]] 通过 [[token-duplication]] + [[block-sparse-attention]] 将 N 遍训练压缩为单遍。 + +## 应用场景 + +- 多轮数学对话教学 +- 逐步推理的客服对话 +- 工具调用的推理链 + +## 相关 + +- [[one-pass-fine-tuning]] +- [[mathchatsync-reasoning]] +- [[goru-one-pass-to-reason-2025|One-Pass to Reason 论文]] diff --git a/concepts/multi-view-captioning.md b/concepts/multi-view-captioning.md new file mode 100644 index 0000000..4b5e7e6 --- /dev/null +++ b/concepts/multi-view-captioning.md @@ -0,0 +1,50 @@ +--- +title: "多视角字幕 (Multi-View Captioning)" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, data-pipeline, video-generation, captioning] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# 多视角字幕 (Multi-View Captioning) + +Flex4DHuman 提出的自动化外观描述数据管线——利用 Gemini 3 Flash 为多视角视频生成密集的自然语言字幕，用于训练和推理时的文本条件控制。 + +## 数据管线 + +1. **时间窗口切分**：将每段视频划分为非重叠窗口 + - DNA-Rendering: 10帧/0.7秒 + - ActorsHQ: 20帧/0.8秒 + - DFA: 60帧/2.0秒 +2. **多视角网格采样**：在每个窗口内均匀采样帧，构建 2×2 图像网格（前/后/左/右四个近似正交视角），背景被掩码 +3. **Gemini 生成**：将网格帧序列与 prompt 一起发送给 Gemini 3 Flash + - 人类：外观描述（体型、发色/毛发特征、服装、配饰、文字/logo） + - 动物：外观 + 行为描述（步态、头部姿态、尾巴运动） + +## 设计决策：外观 vs 运动 + +论文刻意聚焦于**外观**而非细粒度运动描述。先导实验发现： +- 运动描述（如"向左走"）在非标准相机角下容易被 Gemini 误判方向 +- 错误的运动监督会干扰训练 +- 外观属性在不同视角下更稳定可靠 + +对于动物，保留了高级行为描述（走路/小跑/跑步等身体坐标系动作），因为它们在所有视角下保持一致。 + +## 产出 + +| 数据集 | 序列数 | 字幕数 | 平均词数 | +|--------|-------|--------|---------| +| DNA-Rendering | 1,038 | 23,410 | 268 | +| ActorsHQ | 14 | 1,566 | 269 | +| DFA | 23 | 55 | 238 | +| **总计** | **1,075** | **25,031** | **268** | + +## 训练使用 + +每个采样 clip 与其起始帧对应的时间窗口字幕配对——同一序列的不同 clip 在不同时间窗口获得不同描述，增加字幕多样性，减少对单一静态描述的过拟合。 + +## 参考 + +- [[flex4dhuman|Flex4DHuman]] — 使用该字幕管线的模型 +- [[three-stage-curriculum-training|三阶段课程训练]] — 字幕在多阶段训练中的应用 diff --git a/concepts/multitask-rl.md b/concepts/multitask-rl.md new file mode 100644 index 0000000..0ee5082 --- /dev/null +++ b/concepts/multitask-rl.md @@ -0,0 +1,48 @@ +--- +title: "多任务强化学习 (Multitask RL)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["deep-rl", "multitask-learning", "transfer-learning"] +sources: ["[[predictive-representations-scalable-mtrl]]"] +--- + +# 多任务强化学习 (Multitask RL, MTRL) + +**多任务RL**的目标是训练单一 agent 在**任务分布** p(tau) 上最大化期望回报，而非针对单一任务。 + +## 形式化 + +每个任务 tau 定义 MDP M_tau = (S, A, T_tau, R_tau, gamma)。状态和动作空间通常共享，动力学和奖励按任务变化。 + +目标： +``` +E_{tau~p(tau), pi} [ sum_t gamma^t * r_t ] +``` + +## 核心挑战 + +1. **任务干扰（Task Interference）**：共享表征必须支持多个可能冲突的目标——不同任务的梯度可能不对齐 + +2. **非平稳性（Non-stationarity）**：数据分布随任务混合变化——违背 i.i.d. 假设 + +3. **容量利用不足（Underutilization）**：大模型在多任务设定中往往不能有效利用增加的参数 + +4. **表征瓶颈（Representation Bottleneck）**：[[predictive-representations-scalable-mtrl|Obando-Ceron et al.]] 认为表征质量是核心瓶颈 + +## 方法谱系 + +| 方法 | 代表 | 核心机制 | +|------|------|---------| +| Model-Based | Newt, Dreamer | 共享 world model + 规划 | +| Model-Free + 预测表征 | [[mrq-algorithm|MR.Q]] | 辅助预测目标塑造表征 | +| 纯 Model-Free | PPO, SAC | 仅奖励监督 | + +## Scaling 行为 + +关键发现：纯 model-free 方法随模型规模增大无收益甚至退化；加入[[predictive-representation-learning|预测表征学习]]后持续改善——表征质量是 scaling 的瓶颈。 + +## 参考 +- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]] +- [[predictive-representation-learning|Predictive Representation Learning]] +- [[deep-rl-scaling|Scaling Deep RL]] diff --git a/concepts/nachbin-theorem.md b/concepts/nachbin-theorem.md new file mode 100644 index 0000000..2cf5539 --- /dev/null +++ b/concepts/nachbin-theorem.md @@ -0,0 +1,57 @@ +--- +title: "Nachbin 定理" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, approximation-theory, functional-analysis] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# Nachbin 定理 + +Nachbin 定理是 **Stone-Weierstrass 定理的导数版本**——不仅逼近函数值，还同时逼近导数。[[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 将其推广到加权设置和无限维流形。 + +## 经典版本 + +Nachbin (1949)：有限维流形上多项式代数的稠密性 → 可同时逼近函数和导数。 + +## 加权推广 + +论文的核心贡献之一： + +- **权重函数 Ψ**：控制函数和导数在大集合外的增长（Ψ-moderate growth） +- **子代数条件**：分离点 + 包含常数 + 对导数封闭 +- **结论**：该子代数在加权可微函数空间中稠密 + +## 从 Nachbin 到 UAT + +``` +加权 Nachbin 定理（纯数学） + ↓ 应用到 +FNN 满足子代数条件？ + ↓ 需要验证 +1. FNN 分离点 → ℓ_k 足够丰富（BAP） +2. FNN 非消没 → 常数可表示 +3. FNN 对导数封闭 → σ 光滑 + 链式法则 + ↓ +加权 UAT for FNN（包含导数逼近） +``` + +## 历史脉络 + +``` +Stone-Weierstrass (1937) ─── 连续函数逼近 + ↓ +Nachbin (1949) ─── + 导数逼近（有限维流形） + ↓ +Prolla/Guerreiro (1972) ─── + 无限维 Banach 空间 + ↓ +Schmocker/Teichmann (2026) ─── + 加权设置 + 无限维流形 +``` + +## 参考 + +- [[universal-approximation-theorem|UAT]] +- [[weighted-spaces|加权空间]] +- [[weighted-uat-manifolds|论文原文]] diff --git a/concepts/neural-tangent-kernel.md b/concepts/neural-tangent-kernel.md new file mode 100644 index 0000000..6e3000b --- /dev/null +++ b/concepts/neural-tangent-kernel.md @@ -0,0 +1,57 @@ +--- +title: "神经正切核 (Neural Tangent Kernel)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [deep-learning, theory, kernel-methods, neural-networks] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 神经正切核 (Neural Tangent Kernel) + +NTK（Jacot et al., 2018）描述了**无限宽神经网络在梯度下降训练中参数空间的局部几何**——本质上是 NN 参数梯度的点积在宽度→∞ 时的极限。 + +## 定义 + +对于参数化函数 `f_θ(x)`，NTK 定义为： + +``` +K(x, x') = ∇_θ f_θ(x) · ∇_θ f_θ(x') +``` + +在无限宽极限下，这个核在训练过程中**保持恒定**，使得 NN 训练等价于一个 kernel method。 + +## 在 Ticks-to-Flows 中的作用 + +[[ticks-to-flows|Tiwari et al. (2026)]] 的证明大量使用了 NTK 的结构性质： + +1. **高斯极限**：`F_lin(s; W)` 的输出在宽极限下是高斯过程，核函数由 NTK 给出 +2. **梯度更新简化**：使用 NTK，actor 和 critic 的梯度更新公式可表达为核的积分 +3. **状态-动作耦合**：状态变化 `Δs_{t,τ}` 中的 `C_{u,l,τ}` 项本质上是 NTK 的时间积分 + +``` +C_{u,l,τ} = E[C^2 φ'(s̃_l W) φ'(s̃_u W)] +``` + +## 与线性化 NN 的关系 + +[[linearized-neural-network|线性化 NN]] 的 tangent features `Φ(s)` 满足： + +``` +K(s, s') ≈ Φ(s) · Φ(s') / n +``` + +在线性化模型中，这个 Kernel 决定梯度场的几何——所有训练动态都在这一个固定的核空间中展开。 + +## 关键限制 + +- **Lazy training**：核不随训练演化 → 无特征学习 +- **宽度依赖**：实际 NN 的核随训练变化（"feature learning"） +- **计算代价**：精确 NTK 在大数据集上不可行 + +## 参考 + +- [[linearized-neural-network|线性化 NN]] +- [[infinite-width-limit|无限宽度极限]] +- [[ticks-to-flows|Ticks to Flows]] diff --git a/concepts/neural-temporal-point-process.md b/concepts/neural-temporal-point-process.md new file mode 100644 index 0000000..dbfef0c --- /dev/null +++ b/concepts/neural-temporal-point-process.md @@ -0,0 +1,61 @@ +--- +title: "神经时间点过程 (Neural TPP)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, deep-learning, neural-network] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# 神经时间点过程 (Neural TPP) + +神经 TPP 利用深度神经网络增强 TPP 的表达能力，用隐向量编码事件历史，然后参数化下一事件的条件分布。 + +## 三大架构演进 + +### 1. RNN-based TPP + +最早范式 (Du et al., 2016; Mei & Eisner, 2017)。RNN/LSTM 编码事件历史 `(t_1,...,t_n)` 为隐状态 `h_n`，然后： +``` +lambda*(t) = softplus(w^T h_n + b*(t-t_n)) +``` + +- 优点：自然处理变长序列，在线预测 +- 缺点：难以捕捉长程依赖，历史编码压缩在单一向量中 + +### 2. Transformer-based TPP（自回归） + +自注意力机制直接建模所有历史事件对下一事件的共同影响 (Zhang et al., 2020)： + +- **Self-Attentive Hawkes Process (SAHP)**：用注意力权重替代 Hawkes 的显式触发函数，提供可解释的事件重要性 +- **Transformer Hawkes Process (THP)**：标准 Transformer 编码器提取历史表征 +- **Sparse Transformer Hawkes**：稀疏注意力处理长序列效率问题 + +### 3. Diffusion-based TPP + +扩散模型将事件序列生成建模为迭代去噪过程 (Lüdke et al., 2023)： + +- **优势**：非自回归生成，批量化长程预测，避免误差累积 +- **劣势**：时序一致性弱，训练/推理成本高，缺乏显式似然 + +## 四种参数化选择 + +所有神经 TPP 最终需要选择如何表示下一事件的条件分布： + +| 参数化 | 方法 | 数值积分 | 采样 | +|--------|------|---------|------| +| 条件强度 `lambda*` | ReLU/softplus/exp | 需要 Monte Carlo | thinning | +| 条件密度 `f(t|H)` | 混合对数正态 | 不需要 | 直接采样 | +| 累积强度 `Lambda*` | 单调网络/样条 | 不需要 | 逆变换 | +| 逆 CDF `F^{-1}` | 单调有理二次样条 | 不需要 | 高效采样 | + +Intensity-free 方法（后三种）避免了 `∫ lambda*` 的数值积分——见 [[intensity-free-modeling|intensity-free 建模]]。 + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[conditional-intensity-function|条件强度函数]] +- [[intensity-free-modeling|Intensity-free 建模]] +- [[diffusion-based-tpp|扩散 TPP]] +- [[tpp-training-methods|TPP 训练方法]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/neuroalgebraic-geometry.md b/concepts/neuroalgebraic-geometry.md new file mode 100644 index 0000000..c776c0f --- /dev/null +++ b/concepts/neuroalgebraic-geometry.md @@ -0,0 +1,43 @@ +--- +title: "神经代数几何 (Neuroalgebraic Geometry)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["algebraic-geometry", "neural-networks", "machine-learning-theory"] +sources: ["[[relu-neuromanifolds-semi-algebraicity]]"] +--- + +# 神经代数几何 (Neuroalgebraic Geometry) + +**Neuroalgebraic Geometry** 是用代数几何工具研究神经网络[[neuromanifold|神经流形]]的交叉领域（[MSM+25] 综述）。 + +## 研究纲领 + +将机器学习的对象和概念翻译为代数几何不变量： + +| ML 概念 | 代数几何对应 | +|---------|------------| +| 网络架构 | 参数化映射 Phi: W -> M_d | +| 函数空间 | 神经流形 M_d | +| 训练 | M_d 上的优化问题 | +| 过参数化 | 纤维维度 > 0 | +| 对称性 | 群作用 | +| 可识别性 | 纤维结构 | + +## 已知结果 + +- **多项式激活**：已较好理解——神经流形是代数簇或半代数空间 +- **ReLU 激活**：几乎未知——是当前研究前沿 + +## 核心问题 + +1. **半代数性**：神经流形在什么意义下是半代数的？ +2. **商结构**：M_d 是权重空间 R^M / E_Phi 的商吗？（对 ReLU：**不是**） +3. **对称性分类**：参数化映射有哪些对称性？ +4. **奇点几何**：M_d 的奇点如何影响训练？ + +## 参考 +- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]] +- [[neuromanifold|Neuromanifold]] +- [[semi-algebraic-set|Semi-algebraic Set]] +- [[honest-open-subset|Honest Open Subset]] diff --git a/concepts/neuromanifold.md b/concepts/neuromanifold.md new file mode 100644 index 0000000..c223f05 --- /dev/null +++ b/concepts/neuromanifold.md @@ -0,0 +1,41 @@ +--- +title: "神经流形 (Neuromanifold)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["neuroalgebraic-geometry", "neural-networks", "algebraic-geometry"] +sources: ["[[relu-neuromanifolds-semi-algebraicity]]"] +--- + +# 神经流形 (Neuromanifold) + +**神经流形**是神经网络能参数化的所有函数的集合。形式化地，对于参数化映射 Phi: W x X -> Y： + +``` +M_d := { f_w : X -> Y | w in W } +``` + +即所有可由网络架构 d 表示的函数的空间。 + +## 为什么重要 + +1. **训练 = 在 M_d 上优化**：实际训练在权重空间 W 上进行，但优化目标定义在 M_d 上 +2. **参数化非单射**：多个权重映射到同一函数 → 等价关系 E_Phi +3. **虚假临界点**：W 中的临界点不一定是 M_d 中的临界点 +4. **奇点影响训练**：M_d 的奇点和边界点更容易成为损失函数的临界点 + +## 多项式 vs ReLU + +| 激活函数 | 神经流形结构 | +|---------|------------| +| 多项式 | 代数簇或半代数空间 | +| ReLU | 连续分段线性函数，**不是半代数商** ([[relu-neuromanifolds-semi-algebraicity|Flinth et al. 2026]]) | + +## Pro-半代数结构 + +ReLU 神经流形可视为有限维[[semi-algebraic-set|半代数集]]的范畴极限（pro-object）——固定有限输入集得到的输出簇的极限。 + +## 参考 +- [[relu-neuromanifolds-semi-algebraicity|On the fibers and semi-algebraicity of ReLU neuromanifolds]] +- [[neuroalgebraic-geometry|Neuroalgebraic Geometry]] +- [[parametrization-map|Parametrization Map]] diff --git a/concepts/non-anticipative-functionals.md b/concepts/non-anticipative-functionals.md new file mode 100644 index 0000000..dafb741 --- /dev/null +++ b/concepts/non-anticipative-functionals.md @@ -0,0 +1,52 @@ +--- +title: "非预期泛函 (Non-Anticipative Functionals)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [stochastic-processes, functional-analysis, path-space] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# 非预期泛函 (Non-Anticipative Functionals) + +非预期泛函是依赖**路径过去而非未来**的路径空间映射——在 [[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 中被证明可被 FNN 逼近（包括导数）。 + +## 定义 + +对路径 `ω : [0,T] → R^d`，泛函 `F(ω)_t` 在时间 t 是**非预期的**，若它仅依赖 `ω|[0,t]`（路径在 t 之前的部分）。 + +数学上：`F(ω)_t = F(ω(·∧t))`（停时自适应）。 + +## 水平与垂直导数 + +论文的核心贡献之一是证明了 FNN 可以逼近非预期泛函的**两种导数**： + +### 水平导数（Horizontal Derivative） +``` +D_H F(ω)_t = lim_{h→0+} (F(ω(·+h))_{t+h} - F(ω)_t) / h +``` +沿时间方向的导数——捕获时间演化的影响。 + +### 垂直导数（Vertical Derivative） +``` +D_V F(ω)_t(η) = lim_{ε→0} (F(ω + εη)_t - F(ω)_t) / ε +``` +沿空间扰动的导数——捕获路径形变的影响。 + +## 重要性 + +非预期泛函是**Functional Itô 微积分**的核心对象： +- SDE 的解 → 非预期泛函 +- 路径依赖期权定价 → 非预期泛函 +- 随机控制 → 非预期泛函 + +## 加权 UAT 的应用 + +论文 Theorem 5.2：FNN 可在加权空间中同时逼近非预期泛函及其水平/垂直导数 → 这是首次将 UAT 从"函数值"拓展到 "泛函值 + 两种导数"。 + +## 参考 + +- [[functional-input-neural-networks|FNN]] +- [[signature|Signature]] +- [[weighted-uat-manifolds|论文原文]] diff --git a/concepts/objective-driven-ai.md b/concepts/objective-driven-ai.md new file mode 100644 index 0000000..91e2cac --- /dev/null +++ b/concepts/objective-driven-ai.md @@ -0,0 +1,59 @@ +--- +title: "目标驱动AI (Objective-Driven AI)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [AI-safety, LeCun, world-model, planning, agent-architecture] +sources: [raw/articles/lecun-llm-boundary-future-2026.md] +--- + +# 目标驱动AI (Objective-Driven AI) + +LeCun 提出的替代 LLM 的 Agent 架构范式。核心思想：系统的行为不是通过"预测下一个词元"驱动，而是通过**"寻找能够满足目标的行动序列"**驱动。 + +## 核心理念 + +> "从构造上就无法违反。" — LeCun + +安全不是靠"训练之后祈祷它不要做坏事"实现的，而是靠"在行动之前，规划过程已经排除了所有违反安全约束的行动"实现的。 + +## 工作流程 + +1. 接收用户目标 → 翻译为代价函数 + 约束条件 +2. [[world-model-lecun|世界模型]] 模拟候选行动序列的后果 +3. 优化过程寻找最小化代价函数的行动序列 +4. **筛选**：丢弃违反安全约束的选项 +5. 若不存在同时满足目标和约束的行动 → **不行动或请求人类介入** + +## 与现有对齐方案的本质区别 + +| 维度 | RLHF/宪法AI（事后约束） | 目标驱动AI（事前规划） | +|------|------------------------|---------------------| +| 安全机制 | 概率性降低危险输出 | 架构层面排除危险行动 | +| 分布外 | 越狱攻击可逃逸 | "从构造上无法违反" | +| 失败模式 | 黑箱，无法定位根因 | 可调试（代价函数/世界模型可独立验证） | +| 安全保证 | "不太可能"（概率） | "不可能"（架构硬约束） | + +## 与 JEPA 的内在关联 + +- JEPA 的代价函数已是目标驱动的雏形：以期望表征状态而非像素重建为目标 +- 目标驱动AI将这种约束从**表征层**延伸到**行动规划层** +- 共同点：以最小化明确目标函数驱动系统行为，而非依赖外部监督信号事后纠正 + +## 失败模式（诚实承认） + +1. **代价函数不准确**：系统会"高效地"完成错误的目标 +2. **世界模型不准确**：行动后果预测出错 + +但与 LLM 不同：这些失败模式是**可调试、可验证**的——你可以检查代价函数是否准确，测试世界模型的预测误差。 + +## 工程实践: See, Plan, Rewind + +CVPR 2026 最佳论文提名：将任务分解为细粒度空间子任务规划，执行中持续监控进度，检测偏离自动回溯——"用世界模型预测后果"的工程化实现。 + +## 来源 + +- [[lecun-llm-boundary-future|Datawhale 系统梳理]] +- [[jepa|JEPA]] +- [[world-model-lecun|LeCun 世界模型]] +- [[vla-vision-language-action|VLA]] diff --git a/concepts/observable-operator-model.md b/concepts/observable-operator-model.md new file mode 100644 index 0000000..568dca0 --- /dev/null +++ b/concepts/observable-operator-model.md @@ -0,0 +1,43 @@ +--- +title: "可观测算子模型 (Observable Operator Model, OOM)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["spectral-methods", "pomdp", "system-identification"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# 可观测算子模型 (Observable Operator Model, OOM) + +**OOM**（Jaeger, 2000）是将部分可观测系统的动力学表示为按观测-动作对索引的算子集合的框架。关键优势：即使在潜状态空间很大时，也能进行可处理的似然计算。 + +## 核心公式 + +对于 [[partially-observable-markov-game|POMG]] 参数 xi = (theta, Phi) 和学习者策略 pi： + +``` +P(o_1, ..., o_h | a_1, ..., a_h) = 1^T * J_h(o_h, a_h) * ... * J_1(o_1, a_1) * q_0 +``` + +其中 J_h(o, a) 是 d×d 的可观测算子，q_0 是初始预测状态。 + +## [[causal-decomposition-pomg|因果分解]] + +在 POMG 中，OOM 算子的关键洞察是可以分解为： + +**J_h(o, a) = W_h(o, a) · G_h(pi)** + +- W_h（世界通道）：仅依赖世界参数 theta（转移 + 发射核） +- G_h（对手聚合）：仅依赖对手参数 Phi + +这种分解使得世界估计和对手控制可以**独立处理**。 + +## 与 HMM 的关系 + +OOM 是隐马尔可夫模型（HMM）的算子化表示。与需要追踪信念状态的 HMM 不同，OOM 直接操作预测状态——所需维度更小。 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[pomdp|POMDP]] +- [[causal-decomposition-pomg|Causal Decomposition]] +- [[weak-revealing-condition|Weak Revealing]] diff --git a/concepts/one-pass-fine-tuning.md b/concepts/one-pass-fine-tuning.md new file mode 100644 index 0000000..6b37a56 --- /dev/null +++ b/concepts/one-pass-fine-tuning.md @@ -0,0 +1,51 @@ +--- +title: "One-Pass Fine-Tuning (单遍微调)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [efficient-fine-tuning, multi-turn-reasoning, training-optimization] +sources: ["[[goru-one-pass-to-reason-2025]]"] +--- + +# One-Pass Fine-Tuning + +> 将多轮对话的 N 遍训练压缩为单遍前向传播的训练技术，通过 token 复制和自定义注意力掩码实现。 + +## 核心思想 + +传统的多轮推理微调需要每轮一次独立前向传播（[[multi-turn-reasoning|N-Pass]]），因为推理 token 在后续轮次中被丢弃。One-Pass Fine-Tuning 通过以下三步实现单遍处理： + +1. **[[token-duplication|Token 复制]]**：将每个助手回复复制为 ri_in（上下文）和 ri_out（生成+loss） +2. **[[block-sparse-attention|分块稀疏注意力]]**：自定义掩码控制每种 token 类型的可见范围 +3. **位置 ID 重排**：确保相对位置关系与 N-Pass 等价 + +## 理论保证 + +**Theorem 2.1**（Goru et al., 2025）：在仅由注意力模式、位置编码和输入表示决定输出分布的 LM 中， +$$L_{\text{1-Pass}}(c) = \sum_{i=1}^N L_{\text{N-Pass}}(H_{ OneReason 提出的推荐推理评测基准，按 R0-R3 四层递进评估生成式推荐模型的推理能力。 + +## 设计动机 + +RecIF-Bench (OpenOneRec) 虽然拓宽了推荐基础模型的评估范围，但其推理评估仍是粗粒度的、不够诊断性。OneReason-Bench 将其扩展为多层次推理评测。 + +## 评测层次 + +对应 [[perception-cognition-recommendation|R0-R3]] 四层： + +| 层次 | 任务类型 | 核心指标 | +|------|---------|---------| +| R0: Perception | Item Understanding, Pattern Grounding, Item QA | LLM-as-a-Judge, Pass@K, Accuracy | +| R1: Derivation | Item2Item 关联 | Accuracy | +| R2: Evolution | 演化行为选择/主题生成/链生成 | F1, Action-Logic Score | +| R3: Recommendation | 单域/跨域推荐 | Pass@K, Recall@K | + +## 统一任务格式 + +所有任务形式化为序列生成 Y = F(X)： +- X：任务指令 + 上下文（itemic pattern、用户画像、交互历史） +- Y：itemic pattern、答案选项、自然语言响应或结构化演化链 + +## 角色定位 + +OneReason-Bench 不仅是排行榜，更是测量协议——在每个开发阶段为设计决策提供依据、监控和验证。 + +## 参考 + +- [[onereason|OneReason]] +- [[perception-cognition-recommendation|感知-认知推荐层次]] +- [[recommendation-reasoning|推荐推理]] diff --git a/concepts/onerec.md b/concepts/onerec.md new file mode 100644 index 0000000..56c4f5c --- /dev/null +++ b/concepts/onerec.md @@ -0,0 +1,39 @@ +--- +title: "OneRec 生成式推荐模型族" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [recommendation, generative-model, scaling] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# OneRec 生成式推荐模型族 + +> Kuaishou 开发的生成式推荐基础模型系列，将推荐任务重构为序列生成问题。 + +## 概述 + +OneRec 是快手开发的 [[generative-recommendation|生成式推荐]] 模型族，包含 V1/V2 等迭代版本。核心思想是将推荐重构为序列生成任务——模型接收用户历史行为序列（以 [[itemic-tokens|itemic token]] 表示），直接生成下一个推荐 item。 + +## 关键特性 + +- **Scaling 属性验证**：OneRec V1/V2 在工业推荐场景中验证了 Scaling Law，模型规模和数据的扩展带来持续的推荐性能提升 +- **纯 itemic 序列训练**：模型仅基于 item token 序列的转移模式进行训练，无显式语义或逻辑推理 +- **工业部署**：已在快手短视频、直播、广告、电商等多个业务线广泛部署 + +## 局限 + +- **无推理能力**：纯 itemic 序列训练使模型只能学习平坦的转移模式，无法进行逻辑推理 +- **CoT 构造困难**：item token 本身不承载语言语义，无法直接构造有意义的 [[chain-of-thought|思维链]] + +## 演进路径 + +``` +OneRec V1/V2 (Scaling) → OneRec-Think (初步 CoT) → OpenOneRec (开源) → OneReason (推理) +``` + +## 参考 + +- [[onereason|OneReason]] +- [[generative-recommendation|生成式推荐]] +- [[itemic-tokens|Itemic Token]] diff --git a/concepts/open-telemetry.md b/concepts/open-telemetry.md new file mode 100644 index 0000000..1528acd --- /dev/null +++ b/concepts/open-telemetry.md @@ -0,0 +1,37 @@ +--- +title: "OpenTelemetry (OTel)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [observability, standards, tracing, open-telemetry] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# OpenTelemetry (OTel) + +> CNCF 孵化的可观测性标准，定义了一套统一的 tracing、metrics、logging 数据格式和传输协议。 + +## 核心价值 + +- **厂商中立**：数据格式开放，不锁定任何后端 +- **标准语义**：定义 `gen_ai.operation.name`、`gen_ai.usage.input_tokens` 等标准字段，框架层自动遵守 +- **多后端分发**：同一份数据可同时发送到 Grafana、Jaeger、[[logfire|Logfire]] 等 + +## 在 Pydantic 生态中的应用 + +[[logfire|Logfire]] 基于 OTel 标准构建，因此： +- trace 数据可导出到任何 OTel 兼容后端 +- 可通过 OpenTelemetry Collector 做数据清洗/采样 +- 即使 Logfire 公司不存在了，trace 数据格式仍然可读 + +## 典型架构 + +``` +你的代码 → OTLP → Collector（清洗/采样）→ Logfire / Grafana / Jaeger +``` + +## 参考 + +- [[logfire|Logfire]] +- [[agent-observability|Agent 可观测性]] +- [[drift-detection|漂移检测]] diff --git a/concepts/openclaw.md b/concepts/openclaw.md new file mode 100644 index 0000000..297e42d --- /dev/null +++ b/concepts/openclaw.md @@ -0,0 +1,38 @@ +--- +title: "OpenClaw" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [coding-agent, multi-agent, tool-use] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# OpenClaw + +## 定义 + +OpenClaw 是一个通用目的 agent，被广泛用作自主工具使用者——覆盖生产力工具、浏览器自动化、computer-use 任务和科学辅助。在 Claw-SWE-Bench 中，OpenClaw 作为**参考 claw**（reference harness），用于隔离 LLM 维度的变化。 + +## 在 Claw-SWE-Bench 中的表现 + +### 作为参考 claw（9 模型扫掠） +| 模型 | OpenClaw Pass@1 | +|------|-----------------| +| GPT 5.5 | 78.0% | +| Claude Opus 4.7 | 77.1% | +| GLM 5.1 | 73.4% | +| DeepSeek-V4 Pro | 71.7% | +| DeepSeek-V4 Flash | 70.3% | +| Qwen 3.6-flash | 66.0% | + +### 作为 claw 之一（5 claw 扫掠） +在 GLM 5.1 上 OpenClaw 以 73.4% 排名第一，Hermes-Agent 以 71.1% 紧随其后。 + +## 与 SWE-bench 的适配挑战 + +OpenClaw 本身不满足 SWE-bench 的评分合约——它通常通过最终文本、结构化消息或内部日志发信号表示完成，而 SWE-bench evaluator 只读取 `model_patch` 字段。Claw-SWE-Bench 通过 adapter protocol 桥接这一 gap。 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[agent-harness|Agent Harness]] +- [[adapter-protocol|适配器协议]] diff --git a/concepts/output-aware-metric.md b/concepts/output-aware-metric.md new file mode 100644 index 0000000..dd91934 --- /dev/null +++ b/concepts/output-aware-metric.md @@ -0,0 +1,50 @@ +--- +title: "Output-Aware Metric (OAM)" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [sparse-attention, value, token-selection, metric] +sources: [[niu-stem-causal-sparse-attention]] +--- + +# Output-Aware Metric (OAM) + +**Output-Aware Metric** 是 [[stem-sparse-attention|Stem]] 框架的第二个核心组件，解决传统稀疏注意力**仅靠注意力分数选 token** 的盲区。 + +## 传统方法的局限 + +现有稀疏注意力（如 [[sparse-attention-patterns|各类稀疏模式]]）的标准流程： +1. 计算注意力概率矩阵 P ∈ R^(N×N) +2. 对每行取 top-k（按 P_{i,j} 的分数） +3. 仅保留 top-k 对应的 KV 对 + +问题：P_{i,j} 只反映了 query i 对 key j 的**相关性**（"我想关注这个 token"），但不反映 token j 的 Value 向量 V_j 对最终输出的**实际贡献度**（"这个 token 的信息是否重要"）。 + +## OAM 的核心思想 + +OAM 在 token 选择时引入 **Value 信息**： + +``` +score(j) = f(P_{i,j}, ||V_j||) +``` + +不仅看 query-key 匹配度（注意力分数），还看 Value 向量的近似输出幅度（||V_j||）。高注意力分数 + 低 Value 幅度的 token 可能不如中等注意力 + 高 Value 幅度的 token 重要。 + +## 实现方式 + +1. **近似输出幅度**：基于 ||V_j|| 或其低秩近似估计 token 对最终输出的影响 +2. **两信号融合**：P 分数（相关性信号）和 V 幅度（重要性信号）的加权组合 +3. **高效计算**：使用 V 向量的 norm 作为近似（无需完整计算 O = PV） + +## 与 TPD 的协同 + +| 组件 | 解决的问题 | 决策粒度 | +|------|-----------|---------| +| [[token-position-decay|TPD]] | **全局结构**：茎 vs 叶的预算分配 | 位置级 | +| OAM | **局部选择**：在每个位置选哪些 token | Token 级 | + +TPD 决定"这个位置可以保留多少个 token"（How many），OAM 决定"保留哪几个 token"（Which ones）。二者协同覆盖了稀疏化的结构层面和信息层面。 + +## 效果 + +在 LongBench 上，OAM 使 Stem 在相同稀疏率下比纯注意力分数选 token 的方案提升 2-5% 的准确率，特别是在需要精确信息检索的长上下文任务（如 KV 检索）中优势最明显。 diff --git a/concepts/pac-bayesian-bounds.md b/concepts/pac-bayesian-bounds.md new file mode 100644 index 0000000..b4a6877 --- /dev/null +++ b/concepts/pac-bayesian-bounds.md @@ -0,0 +1,46 @@ +--- +title: "PAC-Bayesian 泛化界 (PAC-Bayesian Bounds)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [theory, generalization, pac-learning, bayesian] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# PAC-Bayesian 泛化界 (PAC-Bayesian Bounds) + +PAC-Bayesian 界是[[ortega-phd-thesis|Ortega (2026)]]理论框架的核心工具——将泛化误差界表示为**先验分布 P 与后验分布 Q 之间的 KL 散度**。 + +## 标准形式 + +``` +E_{Q}[L_test] ≤ E_{Q}[L_train] + sqrt( KL(Q||P) + log(n/δ) / (2n) ) +``` + +- Q：学习到的后验分布（在假设空间上） +- P：先验分布（与数据无关） +- KL(Q||P)：惩罚偏离先验的程度 + +## 论文中的推广 + +Ortega 将 PAC-Bayesian 框架与**大偏差理论**结合，推导 PAC-Chernoff 界： + +- **非渐进**：不依赖 n→∞ 极限 +- **插值区间有效**：在 L_train ≈ 0 时仍提供非平凡界 +- **分布依赖**：不假设 i.i.d. + +## 三个泛化机制的 PAC-Bayesian 解读 + +| 机制 | PAC-Bayesian 解释 | +|------|------------------| +| 多样性 | 独立预测器降低后验方差 | +| 光滑性 | 平坦极小值 → 小 KL 惩罚 | +| 随机性 | SGD 噪声 → 隐式先验 | + +## 参考 + +- [[generalization-bounds|泛化界]] +- [[double-descent|双下降]] +- [[amortized-variational-inference|变分推断]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/parametrization-map.md b/concepts/parametrization-map.md new file mode 100644 index 0000000..668ff52 --- /dev/null +++ b/concepts/parametrization-map.md @@ -0,0 +1,48 @@ +--- +title: "参数化映射 (Parametrization Map)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["neuroalgebraic-geometry", "neural-networks", "function-spaces"] +sources: ["[[relu-neuromanifolds-semi-algebraicity]]"] +--- + +# 参数化映射 (Parametrization Map) + +**参数化映射** Phi: R^M -> C^0(R^d0) 是将网络权重映射到其实现函数的映射： + +``` +Phi(w) = f_w +``` + +其中 w 是权重，f_w 是网络实现的函数。 + +## 核心性质 + +1. **非单射**：多个权重映射到同一函数 → [[fiber-of-parametrization|纤维]]非平凡 +2. **非满射**：并非所有连续函数都可被网络表示 +3. **连续分段线性**（ReLU）：像在 PL 函数空间中 +4. **点态半代数性**（Lemma 7）：逐点评价值是半代数函数 + +## 在神经代数几何中的角色 + +参数化映射是[[neuroalgebraic-geometry|神经代数几何]]的核心研究对象： + +- **等价关系** E_Phi：{(v,w) | Phi(v) = Phi(w)} 决定参数的冗余 +- **商问题**：R^M / E_Phi 能否赋予[[semi-algebraic-set|半代数]]结构？ +- **纤维维度**：过参数化的程度的几何度量 + +## 训练视角 + +训练实际在复合映射上进行： +``` +R^M --Phi--> M_d --Loss--> R +``` + +关键问题：R^M 中的临界点是否也是 M_d 中的临界点？通常不是！这就是虚假临界点问题。 + +## 参考 +- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]] +- [[neuromanifold|Neuromanifold]] +- [[fiber-of-parametrization|Fiber]] +- [[neuroalgebraic-geometry|Neuroalgebraic Geometry]] diff --git a/concepts/pareto-frontier-evaluation.md b/concepts/pareto-frontier-evaluation.md new file mode 100644 index 0000000..d450bcd --- /dev/null +++ b/concepts/pareto-frontier-evaluation.md @@ -0,0 +1,33 @@ +--- +title: "Pareto 前沿评测 (Pareto Frontier Evaluation)" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [benchmark, evaluation, cost] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# Pareto 前沿评测 (Pareto Frontier Evaluation) + +## 定义 + +Pareto 前沿评测将 agent 系统置于 **准确率-代价** 二维平面上，通过 Pareto 前沿（连接所有非支配操作点的曲线）识别在多目标下最优的系统组合。一个操作点被支配，当存在另一个操作点同时在准确率上不差且代价上更低。 + +## Claw-SWE-Bench 中的应用 + +在五 claw × 双模型的 350-instance 扫掠中，每个点代表一个 claw-model 组合在完整评估上的 Pass@1 与总 API 代价。Pareto 前沿揭示了： + +- **准确率和代价不共线**——更高准确率不一定意味着更高代价 +- OpenClaw × DeepSeek-V4 Flash（70.3%, $8.2）和 OpenClaw × GLM 5.1（73.4%, $277）都在前沿附近但位置差异巨大 +- 仅报告 Resolved Rate 会掩盖代价信息，可能误导 Leaderboard 解读 + +## Pareto 前沿 vs 单一指标 + +单一指标（如仅 Pass@1）的问题： +- 无法区分 "高准确率高代价" 和 "略低准确率极低代价" 的系统 +- 对资源受限的研究者（小团队、学术组）不友好 +- 无法回答 "这个准确率提升值多少钱？" + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[cost-aware-benchmarking|代价感知基准评测]] diff --git a/concepts/partially-observable-markov-game.md b/concepts/partially-observable-markov-game.md new file mode 100644 index 0000000..d61dbfb --- /dev/null +++ b/concepts/partially-observable-markov-game.md @@ -0,0 +1,48 @@ +--- +title: "部分可观测马尔可夫博弈 (Partially Observable Markov Game, POMG)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["multi-agent-rl", "partial-observability", "game-theory", "markov-games"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# 部分可观测马尔可夫博弈 (POMG) + +**POMG** 是 [[pomdp|POMDP]] 的多智能体扩展，两个玩家的行为都影响状态转移，且双方仅能获得部分观测。 + +## 形式化定义 + +M = (S, A, B, O_A, O_B, T, E_A, E_B, r, H, rho_0) + +- S: 状态空间 +- A, B: 学习者/对手动作空间 +- O_A, O_B: 学习者/对手观测空间 +- T_h: 转移核 S x A x B -> Delta(S) +- E_h^A, E_h^B: 发射核 S -> Delta(O) +- r: 奖励函数（仅基于学习者观测） +- H: episode 长度 + +## 核心挑战 + +1. **部分可观测性**：无法直接观测潜状态，需要基于信念的推理 +2. **策略性对手**：对手行为依赖于学习者的策略，引入反事实依赖性 +3. **标准 regret 失效**：external regret 假设对手行为在反事实下不变——在 POMG 中不成立 + +## 结构假设 + +为可处理学习，需要两个关键假设： + +- [[weak-revealing-condition|Weak Revealing]]：观测信息量足够识别世界动力学 +- [[posterior-lipschitz-adversary|Posterior-Lipschitz 对手]]：对手响应平滑变化 + +## [[causal-decomposition-pomg|因果分解]] + +POMG 的 [[observable-operator-model|OOM]] 算子可分解为： +- 世界通道 W_h（转移 + 发射，仅依赖世界参数 theta） +- 对手聚合 G_h（对手响应，依赖 Phi） + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[pomdp|POMDP]] +- [[policy-regret|Policy Regret]] diff --git a/concepts/patch-based-evaluation.md b/concepts/patch-based-evaluation.md new file mode 100644 index 0000000..5bf6a9e --- /dev/null +++ b/concepts/patch-based-evaluation.md @@ -0,0 +1,44 @@ +--- +title: "Patch-Based Evaluation (基于 Patch 的评测合约)" +created: 2026-06-15 +updated: 2026-06-15 +type: concept +tags: [benchmark, evaluation, coding-agent] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# Patch-Based Evaluation + +## 定义 + +Patch-Based Evaluation 是 SWE-bench 的核心评测合约：给定一个 GitHub issue 的 `problem_statement`、target `repo` 和 `base_commit`，系统必须提交一个可 apply 到仓库 checkout 的 diff patch。官方评测 harness 不读取交互轨迹或最终自然语言答案——它只读取包含 `instance_id`、`model_name_or_path` 和 `model_patch` 字符串的预测文件。 + +## 与传统 Agent 评测的区别 + +| | 传统 Agent 评测 | Patch-Based Evaluation | +|---|---|---| +| 输出格式 | 最终文本/JSON/自然语言 | Git diff patch | +| 评分方式 | 解析输出内容 | 仓库级测试通过 | +| Agent 行为 | 自由交互 | 必须编辑仓库文件 | +| 合约要求 | 低 | 高（patch 必须可 apply） | + +## 核心挑战 + +1. **通用 Agent 不满足合约:** OpenClaw 等通用 agent 通常输出最终文本或结构化消息，evaluator 无法直接评分 +2. **Patch 生成的脆弱性:** 直接生成 unified diff 文本极易出错——行号偏差、上下文错误、hunk header 不匹配 +3. **非解决方案产物的污染:** Agent 可能创建 session 文件、缓存等，这些进入 git diff 会污染 patch + +## Full Adapter 的解决方案 + +Claw-SWE-Bench 的 Full Adapter 将输出责任从"模型写 patch 文本"转移到"模型编辑仓库文件，runner 从 Git 状态导出 patch"： +- Agent 通过工具编辑 `/testbed` 下的文件 +- Runner 计算对 `base_commit` 的 diff +- 移除非解决方案产物 +- 写入 SWE-bench 兼容的预测文件 + +结果：Apply Failed 从 69.1% 降至 <1.5%。 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[adapter-protocol|适配器协议]] +- [[swe-bench|SWE-bench]] diff --git a/concepts/pdf-processing.md b/concepts/pdf-processing.md new file mode 100644 index 0000000..3bb03d1 --- /dev/null +++ b/concepts/pdf-processing.md @@ -0,0 +1,23 @@ +--- +title: "PDF Processing" +type: concept +created: 2026-06-04 +tags: [pdf, document-processing, parsing, ocr] +--- + +# PDF Processing（PDF 处理） + +**定义**：从 PDF 文档中提取结构化信息的工具和方法谱系，涵盖文本提取、布局解析、表格识别和公式处理。 + +## 方法分类 + +| 方法 | 代表工具 | 特点 | +|------|---------|------| +| 规则式 | pdftotext | 简单快速，但丢失结构 | +| 视觉模型 | [[mineru]] | 保留布局和层级结构 | +| OCR | Tesseract | 处理扫描文档 | +| 深度学习 | Nougat, Grobid | 学术文献专项优化 | + +## 相关概念 + +- [[mineru]] — 视觉模型驱动的 PDF 解析 diff --git a/concepts/perception-cognition-recommendation.md b/concepts/perception-cognition-recommendation.md new file mode 100644 index 0000000..5d0d00c --- /dev/null +++ b/concepts/perception-cognition-recommendation.md @@ -0,0 +1,56 @@ +--- +title: "感知-认知推荐层次 (R0-R3)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [recommendation, reasoning, perception, cognition, hierarchy] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# 感知-认知推荐层次 (R0-R3) + +> OneReason 提出的推荐推理四层递进体系：Perception → Derivation → Evolution → Recommendation。 + +## 层次结构 + +### R0: Perception（感知） +**基础能力**：将 [[itemic-tokens|itemic token]] 扎根到其显式语义内容中。 + +- Item Understanding：给定 item，生成自然语言描述 +- Itemic Pattern Grounding：给定描述，定位到对应 item +- Item QA：基于 item 内容的问答 + +**没有 R0，用户行为完全不可解读。** + +### R1: Derivation（推导） +从单个 item 语义推理 item-to-item 关系。 + +- 通过常识/知识关联从噪声交互历史中提取潜在兴趣 +- 任务：Item2Item 关联匹配 + +### R2: Evolution（演化） +将同一潜在兴趣的 item 建模为时序过程。 + +- 捕捉长期/短期/周期性偏好 +- 任务：演化行为选择、演化主题生成、演化链直接生成 + +### R3: Recommendation（推荐） +在所有服务域中连贯推理，产出推荐决策。 + +- 单域推荐（视频/商品/广告/直播） +- 跨域推荐 + +## 设计哲学 + +推荐推理是 [[abductive-reasoning-recommendation|溯因 (Abductive)]] 而非演绎——从行为反推隐含兴趣点。R0-R3 层次将这一过程中每个诊断能力独立评估和训练。 + +## 与 OneReason-Bench 的关系 + +[[onereason-bench|OneReason-Bench]] 的评测体系直接对应 R0-R3 层次，作为训练各阶段的测量协议。 + +## 参考 + +- [[onereason|OneReason]] +- [[recommendation-reasoning|推荐推理]] +- [[recommendation-cot|推荐 CoT]] +- [[onereason-bench|OneReason-Bench]] diff --git a/concepts/pldm.md b/concepts/pldm.md new file mode 100644 index 0000000..f88b209 --- /dev/null +++ b/concepts/pldm.md @@ -0,0 +1,40 @@ +--- +title: "PLDM (Pretrained Latent Dynamics Model)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [world-model, JEPA, latent-dynamics, PLDM] +sources: [raw/papers/maes-leworldmodel-2026.md] +--- + +# PLDM (Pretrained Latent Dynamics Model) + +在 [[leworldmodel|LeWorldModel]] 之前**唯一的端到端 JEPA 世界模型**，也是 LeWM 的主要对比基线。 + +## 特点 + +- 端到端训练编码器和预测器（无需预训练编码器） +- 无需 stop-gradient、EMA 等训练启发式 +- VICReg 风格的多项正则化防[[representation-collapse|表征坍缩]] + +## 核心问题 + +**超参数过多**：需组合 **7 项损失 + 6 个可调超参**。训练中各损失项互相拉扯，曲线不稳定，调参困难。 + +## LeWorldModel 的改进 + +| 维度 | PLDM | LeWorldModel | +|------|------|-------------| +| 损失项 | 7 项 | 2 项 | +| 可调超参 | 6 个 | 1 个 (λ) | +| 防坍塌 | VICReg（启发式） | SIGReg（可证明） | +| 训练稳定性 | 互相拉扯 | 单调收敛 | +| Push-T | 78% | **96%** (+18%) | + +PLDM 验证了端到端 JEPA 的可行性，但其工程复杂度暴露了 VICReg 路线在扩展到世界模型时的根本困难，直接推动了 [[sigreg|SIGReg]] 的诞生。 + +## 来源 + +- [[maes-leworldmodel-2026|LeWorldModel 论文]] +- [[leworldmodel|LeWorldModel 概念]] +- [[sigreg|SIGReg]] diff --git a/concepts/poisson-process.md b/concepts/poisson-process.md new file mode 100644 index 0000000..d577281 --- /dev/null +++ b/concepts/poisson-process.md @@ -0,0 +1,51 @@ +--- +title: "泊松过程 (Poisson Process)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, poisson, baseline-model] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# 泊松过程 (Poisson Process) + +泊松过程是最基础的时间点过程模型，其核心特征是**事件之间相互独立**——历史不影响未来事件的发生速率。 + +## 两种基本形式 + +### 齐次泊松过程 + +条件强度为常数： +``` +lambda*(t) = mu +``` + +等价于事件间隔 i.i.d. 服从指数分布 `Exp(mu)`。这是最简单的 TPP，适用于电话呼叫等近似独立的到达过程。 + +### 非齐次泊松过程 + +强度随时间变化但与历史无关： +``` +lambda*(t) = lambda(t) +``` + +用于建模具有时间趋势但无事件间交互的过程（如按小时变化的呼叫量）。 + +## 在 TPP 体系中的角色 + +- **基线模型**：几乎所有更复杂 TPP 的构建起点 +- **Hawkes 过程的退化特例**：当触发函数 `phi = 0` 时，Hawkes 退化为泊松 +- **贝叶斯扩展基础**：[[bayesian-nonparametric-tpp|贝叶斯非参数 TPP]] 的核心对象是 GP-modulated Poisson process +- **噪声分布**：在 [[tpp-training-methods|NCE 训练]] 中泊松过程常用作噪声分布 + +## 局限性 + +- 无法捕捉事件间的激励/抑制效应 +- 无法建模 bursty（突发聚集）行为——这正是 [[hawkes-process|Hawkes 过程]] 要解决的问题 + +## 参考 + +- Kingman (1992), "Poisson Processes" +- [[temporal-point-process|时间点过程]] +- [[hawkes-process|Hawkes 过程]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/policy-constrained-execution.md b/concepts/policy-constrained-execution.md new file mode 100644 index 0000000..dfb558c --- /dev/null +++ b/concepts/policy-constrained-execution.md @@ -0,0 +1,44 @@ +--- +title: "Policy-Constrained Execution" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-harness, formal-model, policy] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# Policy-Constrained Execution + +**策略约束执行**是 [[harnessaudit|HarnessAudit]] 对 [[execution-harness|Agent 执行骨架]] 的形式化定义。它将骨架建模为一个受策略约束的执行系统，而非简单的 LLM + 工具层。 + +## 形式化定义 + +``` +H := (A, T, R, Π, Φ, Σ) +H(G; D₀) → (τ_H, y) +``` + +| 组件 | 含义 | +|------|------| +| A | 执行组件集合（单 Agent 时为 1，多 Agent 时为 N） | +| T | 可调用工具集 | +| R | 环境资源（数据库、文件系统、API） | +| Π | **权限策略**：指定哪些 Agent 可访问哪些工具和资源 | +| Φ | **信息流策略**：约束 Agent 间可共享的信息 | +| Σ | **协调协议**：任务委托、操作确认、结果验证 | + +给定用户目标 G 和初始环境状态 D₀，骨架产生可观测的执行轨迹 τ_H 和最终输出 y。 + +## 与 Harness-as-Policy 的关系 + +[[harness-as-policy]] 将代码本身视为策略——骨架即是策略的编码。策略约束执行将这一理念形式化： +- Π 和 Φ 是**显式声明的约束** +- [[boundary-compliance|L1 边界合规]] 验证执行轨迹是否违反 Π 和 Φ +- 审计不依赖 Agent 自报或最终输出，而是通过[[hidden-audit-channel|独立证据通道]] + +## 与一般 Agent 框架的区别 + +传统 [[agentic-systems|Agent 系统]] 关注工具集成和能力提升，而策略约束执行额外引入了： +- **可审计的权限边界**（而非隐式的"能调就用"） +- **显式的信息流约束**（而非假定 Agent 会自我约束） +- **独立于 Agent 的证据链**（而非依赖 Agent 的诚实自报） diff --git a/concepts/policy-regret.md b/concepts/policy-regret.md new file mode 100644 index 0000000..1b825df --- /dev/null +++ b/concepts/policy-regret.md @@ -0,0 +1,46 @@ +--- +title: "策略后悔 (Policy Regret)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["regret-analysis", "online-learning", "multi-agent-rl"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# 策略后悔 (Policy Regret) + +**策略后悔**（Arora et al., 2012）是针对**自适应对手**的反事实性能度量。与 external regret 不同，它评估的是"如果学习者从一开始就承诺使用某个固定策略，对手会怎样响应"。 + +## 形式化定义 + +``` +PR(T) = max_{pi*} sum_{t=1..T} [ V^{pi*}(R_inf(pi*)) - V^{pi_t}(g^t) ] +``` + +- pi*: 候选固定策略 +- R_inf(pi*): 对手对 pi* 的稳态响应 +- pi_t, g^t: 第 t 个 episode 的实际策略和对手响应 + +## 与 External Regret 的区别 + +| External Regret | Policy Regret | +|----------------|---------------| +| 假设对手行为不变 | 考虑对手反事实响应 | +| 对自适应对手失效 | 对自适应对手有效 | +| min_{pi} 固定策略与观测对手序列对比 | max_{pi*} 考虑该策略会引发的对手响应 | + +## 为什么 External Regret 不够 + +在 [[partially-observable-markov-game|POMG]] 中，对手的响应 g^t 依赖于学习者的策略 pi^t。如果学习者在第 t 步选择了不同的策略，对手也会做出不同的响应。External regret 假装对手行为不变——这在战略交互中是无意义的。 + +## 关键结果 + +在 [[minimax-policy-regret-pomg|Arora (2026)]] 中： +- **上界**：O(sqrt(T)) 策略后悔，通过 epoch-based 乐观 MLE 实现 +- **下界**：Omega(sqrt(T))，匹配上界 +- **Minimax 最优**：达到信息论下界 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[adaptive-adversary|Adaptive Adversary]] +- [[minimax-optimality|Minimax Optimality]] diff --git a/concepts/polysemanticity.md b/concepts/polysemanticity.md new file mode 100644 index 0000000..259d49c --- /dev/null +++ b/concepts/polysemanticity.md @@ -0,0 +1,57 @@ +--- +title: "多义性与单义性 (Polysemanticity & Monosemanticity)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [interpretability, neurons, superposition] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 多义性与单义性 (Polysemanticity & Monosemanticity) + +多义性（polysemanticity）是神经网络神经元层面的**核心可解释性挑战**——单个神经元同时编码多个不相关概念。 + +## 形式化定义 + +在 [[geometric-sae-concepts|Zhang et al. (2026)]] 的集合论框架中： + +- **多义性**：关系 `R ⊆ C × N` 中，一个神经元关联多个不相关的人类概念 +- **单义性**：f 是近似注入的（injective），不同概念不分配给同一神经元 + +## 为什么发生 + +[[superposition|叠加（superposition）]] 是多义性的根本原因： + +- 模型需要表示的**概念数量 > 可用神经元数量** +- 为解决这一线性代数瓶颈，模型将多个概念叠加在同一方向 +- 这种压缩表征在模型中非常高效，但对人类不可读 + +## SAE 如何缓解 + +[[sparse-autoencoder|SAE]] 通过学习**过完备字典**（d >> n）缓解多义性： + +1. 引入比原始激活维度更多的 SAE 神经元 +2. 稀疏性约束确保每次只有少数神经元激活 +3. 将叠加表征"解耦"为更单义的特征 + +但单义性有条件——[[geometric-sae-concepts|Theorem 5.10]] 给出的组合容量约束： + +``` +d ≳ (k_c! |C|)^{1/k_c} +``` + +神经元数量 d 必须以超线性速率随概念数 |C| 增长。 + +## 在几何框架中 + +- 单神经元分离概念的条件：`Conv(C) ∩ Conv(N) = ∅` +- 实际中 LLM 激活空间中的概念常被扭曲，凸包不交的条件很难满足 +- 因此即使在 SAE 中，残余的多义性仍然存在 + +## 参考 + +- [[sparse-autoencoder|SAE]] +- [[superposition|叠加]] +- [[mechanistic-interpretability|机制可解释性]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/pomdp.md b/concepts/pomdp.md new file mode 100644 index 0000000..01d4739 --- /dev/null +++ b/concepts/pomdp.md @@ -0,0 +1,44 @@ +--- +title: "部分可观测马尔可夫决策过程 (POMDP)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["reinforcement-learning", "partial-observability", "planning"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# 部分可观测马尔可夫决策过程 (POMDP) + +**POMDP** 是将部分可观测性引入 MDP 的通用框架：智能体不能直接观测状态，只能获得噪声观测信号。 + +## 与 MDP 的区别 + +| MDP | POMDP | +|-----|-------| +| 状态完全可观测 | 状态部分可观测 | +| 策略 = pi(s) -> a | 策略 = pi(tau) -> a（基于历史） | +| 值函数定义在状态上 | 值函数定义在信念状态上 | + +## 核心挑战 + +1. **信念追踪**：从观测历史推断潜状态分布 +2. **历史依赖策略**：最优策略可能需要无限记忆 +3. **维度诅咒**：信念空间是 (|S|-1) 维单纯形 + +## 可处理性条件 + +并非所有 POMDP 都同样困难。关键结构条件： + +- **[[weak-revealing-condition|Weak Revealing]]**（Liu et al., 2022a）：观测信息量足够识别动力学 +- **[[observable-operator-model|OOM]] 表示**：算子化动力学，维度独立于 |S| +- **Block MDP**：观测唯一确定块的身份 + +## 到 POMG 的扩展 + +[[partially-observable-markov-game|POMG]] 将 POMDP 扩展到博弈论设定——对手的行为影响动力学且策略性响应。这引入了 [[policy-regret|策略后悔]]、[[causal-decomposition-pomg|因果分解]]等新挑战。 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[partially-observable-markov-game|POMG]] +- [[observable-operator-model|OOM]] +- [[weak-revealing-condition|Weak Revealing]] diff --git a/concepts/position-encoding.md b/concepts/position-encoding.md new file mode 100644 index 0000000..a7a6780 --- /dev/null +++ b/concepts/position-encoding.md @@ -0,0 +1,29 @@ +--- +title: "Position Encoding (位置编码)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [position-encoding, transformer, placeholder] +sources: [] +--- + +# Position Encoding + +> Transformer 模型中为 token 注入序列位置信息的技术。 + +## 主要方法 + +- **绝对位置编码**：为每个位置分配唯一向量（原始 Transformer） +- **[[rotary-position-embedding|RoPE]]（旋转位置编码）**：通过旋转矩阵编码相对位置，广泛用于现代 LLM +- **ALiBi**：通过注意力偏置编码相对位置 +- **NTK-aware 插值**：扩展位置编码的范围（见 [[length-extrapolation|长度外推]]） + +## 在多轮推理中的挑战 + +[[goru-one-pass-to-reason-2025]] 揭示了 [[position-id-discrepancy|位置 ID 偏差]] 问题——同一 token 在生成和上下文两种场景中的绝对位置不同，需通过策略性位置 ID 分配解决。 + +## 相关 + +- [[rotary-position-embedding]] +- [[position-id-discrepancy]] +- [[goru-one-pass-to-reason-2025|One-Pass to Reason]] diff --git a/concepts/position-id-discrepancy.md b/concepts/position-id-discrepancy.md new file mode 100644 index 0000000..b0ef4a2 --- /dev/null +++ b/concepts/position-id-discrepancy.md @@ -0,0 +1,57 @@ +--- +title: "Position ID Discrepancy (位置 ID 偏差)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [position-encoding, multi-turn-reasoning, training] +sources: ["[[goru-one-pass-to-reason-2025]]"] +--- + +# Position ID Discrepancy + +> 在多轮推理训练中，回复 token 在"生成时刻"与"作为上下文"两种场景下的位置不一致问题。 + +## 问题 + +考虑第 i 轮对话： + +**生成时刻**（训练时的前向传播）： +``` +... hi-1, ri-1, hi, [ti, ri] ← ri 跟在 ti 后面 +``` +ri 的绝对位置：`length(H_{= 0，使得对于所有策略块 pi, nu： + +``` +|| g_h(·|tau_B, pi) - g_h(·|tau_B, nu) ||_1 + <= L * max_i || S_ref(pi_i) - S_ref(nu_i) ||_1 +``` + +其中 S_ref 是通过**参考对手策略** mu_ref 计算的后验预测算子。 + +## 为什么需要参考策略解耦 + +直接条件"对手响应 Lipschitz 于学习者策略"存在循环： +- 对手响应依赖于学习者策略 +- 但平滑性条件本身需要陈述对手响应的性质 + +**解耦方案**：使用与学习者无关的固定参考策略 mu_ref（如均匀分布），通过参考动力学计算 S_ref，以此为桥梁定义 Lipschitz 条件。 + +## 满足条件的对手类型 + +- 在固定世界模型下对学习者策略的平滑估计做 best-response +- 使用有界步长的梯度更新 +- 任何对策略变化平滑响应的对手 + +## 为什么重要 + +Posterior-Lipschitz 条件使得： +- 策略后悔的传输成本被控制（仅 polylog(T)） +- epoch-based 算法每次切换策略的后悔可被 bound +- [[policy-regret|策略后悔]]的分析成为可能 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[policy-regret|Policy Regret]] +- [[adaptive-adversary|Adaptive Adversary]] diff --git a/concepts/pre-hoc-reasoning-rl.md b/concepts/pre-hoc-reasoning-rl.md new file mode 100644 index 0000000..2b41c51 --- /dev/null +++ b/concepts/pre-hoc-reasoning-rl.md @@ -0,0 +1,40 @@ +--- +title: "前置推理 RL (Pre-Hoc Reasoning RL)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [rl, post-training, reasoning, training] +sources: [raw/articles/qifu-llm-finance-practice-2026.md] +--- + +# 前置推理 RL (Pre-Hoc Reasoning RL) + +奇富科技王元描述的高成本后训练方案：模型在生成最终答案之前先生成推理过程，再基于推理给出答案。 + +## 特征 + +- 属于"正统 RL"路径，训练范式更接近标准的 reasoning RL +- 在绝对准确率上有微弱优势（相比 [[post-hoc-reasoning-rl|后置推理 RL]]） +- 但在成本与工程复杂度上存在显著劣势 + +## 现实限制 + +1. **MOE 模型不兼容**：VeRL 框架不支持 MOE 模型的 RL+LoRA 后训练，部分场景被迫退回全参微调 +2. **最适合 Dense 模型**：LoRA 架构对 Dense 模型最友好，MOE 工具链支持待完善 +3. **需要拒绝采样 reasoning**：训练成本高，算力与训练时长显著增加 + +## 三阶梯成本框架 + +在 [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] 中，前置推理 RL 定位为最高成本方案： + +``` +SFT (低成本) < 后置推理 RL (中成本) < 前置推理 RL (高成本) +``` + +选择建议：仅当业务同时要求**最高准确率 + 内置推理能力**，且基模为 Dense 模型、有充足 GPU 预算时才采用。 + +## 参考 + +- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享 +- [[post-hoc-reasoning-rl|后置推理 RL]] — 性价比更高的替代方案 +- [[moe-lora-toolchain-conflict|MOE + LoRA 冲突]] — 限制前置推理 RL 的现实阻碍 diff --git a/concepts/precision-weighted-fusion.md b/concepts/precision-weighted-fusion.md new file mode 100644 index 0000000..49fabad --- /dev/null +++ b/concepts/precision-weighted-fusion.md @@ -0,0 +1,46 @@ +--- +title: "精度加权融合 (Precision-Weighted Fusion)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["multimodal-learning", "bayesian-deep-learning", "fusion"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 精度加权融合 (Precision-Weighted Fusion) + +**精度加权融合**是 [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 提出的多模态贝叶斯融合机制，利用各模态潜空间方差的倒数作为精度权重进行分布组合。 + +## 核心机制 + +对于 M 个可用模态，每个编码器输出 (mu_m, log sigma^2_m)： + +**步骤 1**：计算各模态精度 +``` +Lambda_m = exp(-log sigma^2_m) = 1 / sigma^2_m +``` + +**步骤 2**：精度加权组合 +``` +Lambda_fused = sum_m Lambda_m +sigma^2_fused = 1 / Lambda_fused +mu_fused = (sum_m Lambda_m * mu_m) / Lambda_fused +``` + +## 缺失模态处理 + +缺失模态通过设置 log sigma^2 = 10.0 来处理： +- Lambda ≈ 0（精度近似为零） +- 该模态自动从融合中排除 +- 保留患者记录完整性 + +结果：融合不确定性始终 ≥ 最小单模态方差，随着缺失模态增多而正确增加。 + +## 直觉 + +高精度（低方差）的模态贡献更多权重——就像贝叶斯推断中精度加权的后验组合。这是卡尔曼滤波思想在多模态融合中的推广。 + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[epistemic-uncertainty|认知不确定性]] +- [[uncertainty-quantification|不确定性量化]] diff --git a/concepts/predictive-representation-learning.md b/concepts/predictive-representation-learning.md new file mode 100644 index 0000000..0277701 --- /dev/null +++ b/concepts/predictive-representation-learning.md @@ -0,0 +1,50 @@ +--- +title: "预测表征学习 (Predictive Representation Learning)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["deep-rl", "representation-learning", "self-supervised-learning"] +sources: ["[[predictive-representations-scalable-mtrl]]"] +--- + +# 预测表征学习 (Predictive Representation Learning) + +**预测表征学习**是 [[predictive-representations-scalable-mtrl|Obando-Ceron et al. (2026)]] 的核心论点：多任务RL的可扩展性驱动力是学习**对未来状态/奖励有预测力的表征**，而非显式规划。 + +## 核心直觉 + +传统RL仅从奖励信号学习表征（稀疏、非平稳）。预测目标提供**密集的辅助监督**： +- 预测下一状态 z_{t+1} +- 预测即时奖励 r_t +- 预测终止信号 d_t + +这些目标迫使编码器捕捉环境动力学和任务相关的时序结构。 + +## 与 Model-Based RL 的关系 + +| Model-Based RL | 预测表征学习 | +|---------------|------------| +| 学习 world model + 规划 | 学习 world model + 仅用于表征 | +| 潜空间 rollout / MCTS | 无规划 | +| 模型误差会累积 | 模型误差仅影响表征质量 | +| 高计算开销 | 低计算开销 | + +## 为什么有效 + +1. **密集监督**：每个 transition 都有预测目标，而非仅依赖稀疏奖励 +2. **表征结构**：迫使潜空间捕捉因果/时序关系 +3. **TD 稳定性**：更好的表征减少 TD 方差 +4. **跨任务共享**：动力学预测是任务无关的，促进迁移 + +## 关键实验证据 + +[[predictive-representations-scalable-mtrl|Obando-Ceron et al.]] 的核心发现： +- PPO 无预测表征 → 模型 scaling 无收益 +- PPO + 预测表征 → 持续随规模提升 +- MR.Q（预测表征 + model-free TD）超越 Newt（world model + 规划） + +## 参考 +- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]] +- [[mrq-algorithm|MR.Q]] +- [[auxiliary-predictive-objectives|Auxiliary Predictive Objectives]] +- [[representation-learning-rl|Representation Learning in RL]] diff --git a/concepts/preference-log-odds.md b/concepts/preference-log-odds.md new file mode 100644 index 0000000..85c1503 --- /dev/null +++ b/concepts/preference-log-odds.md @@ -0,0 +1,48 @@ +--- +title: "Preference Log-Odds" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, evaluation, metrics] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Preference Log-Odds（偏好对数几率） + +## 定义 + +Preference Log-Odds 是 Xu et al. (2026) 引入的度量，在共享 log-odds 尺度上量化 LLM 对目标概念的内在偏好： + +$$\text{PrefOdds}(q) = \log \frac{P(p_p | q)}{P(p_n | q)} = L_n - L_p$$ + +其中 $(A_p, A_n)$ 是极性对比示例对，$L_p = -\log P(A_p|q)$，$L_n = -\log P(A_n|q)$。 + +## 关键性质 + +1. **效用无关**：共享效用 $P(u|q)$ 在似然比中抵消，PrefOdds 仅测量偏好 +2. **与干预乘子的关系**：在激活流形框架下，$\log\frac{P(p_p)}{1-P(p_p)} = (\alpha_p m + \beta_p)D_p(m) + b_p$ +3. **拟合质量**：RQ 衰减模型拟合 R² > 0.95 + +## 三阶段响应 + +当 PrefOdds 相对于 $m$ 绘图时： +- 线性区：$\alpha_p m$ 项主导 +- 过渡区：$D_p(m)$ 开始下降 +- 收敛区：$D_p(m)$ 衰减至很低，PrefOdds 趋于稳定 + +## 对比：PrefOdds vs UtilOdds + +| 属性 | PrefOdds | UtilOdds | +|------|----------|----------| +| 公式 | $L_n - L_p$ | $\log\frac{e^{-L_p}+e^{-L_n}}{1-e^{-L_p}-e^{-L_n}}$ | +| 含义 | 目标概念偏好 | 任务连贯性 | +| 导向方向投影 | α_p m（有） | ≈0（ω_u ⊥ Δh） | +| 衰减依赖 | 投影 × 衰减 | 纯衰减 | + +## 相关概念 + +- [[preference-utility-analysis]] — 度量框架 +- [[intervention-multiplier]] — 控制变量 m +- [[validity-decay]] — D(m) 衰减 +- [[steering-dynamics]] — PrefOdds 的三阶段行为 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/preference-utility-analysis.md b/concepts/preference-utility-analysis.md new file mode 100644 index 0000000..62d5d2f --- /dev/null +++ b/concepts/preference-utility-analysis.md @@ -0,0 +1,47 @@ +--- +title: "Preference–Utility Analysis" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, evaluation, controllability] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Preference–Utility Analysis（偏好-效用分析） + +## 定义 + +Preference–Utility 分析是 Xu et al. (2026) 提出的控制效果评估框架，将 LLM 干预的效果分解为两个独立维度，在共享 log-odds 尺度上测量： + +$$P(A_p | q) = P(u | q) \cdot P(p_p | q)$$ +$$P(A_n | q) = P(u | q) \cdot P(p_n | q)$$ + +## Preference（偏好） + +模型对**目标概念**的内在倾向，独立于输出是否良好： +- 公式：$\text{PrefOdds}(q) = \log \frac{P(p_p|q)}{P(p_n|q)} = L_n - L_p$ +- 关键性质：共享效用 $P(u|q)$ 在似然比中抵消，偏好测量与效用解耦 + +## Utility（效用） + +模型的**任务能力**——连贯性、指令遵循、格式正确性： +- 公式：$\text{UtilOdds}(q) = \log \frac{P(u|q)}{1-P(u|q)} = \log \frac{e^{-L_p} + e^{-L_n}}{1 - e^{-L_p} - e^{-L_n}}$ +- 效用测量与目标概念无关 + +## 为什么需要解耦 + +在受控生成中，偏好增加以效用为代价时，输出常变得不连贯或违反指令——这会**混淆**输出级评估中的概念信号。解耦后可以独立追踪两者。 + +## 统一动态发现 + +所有干预形式（Local Weight、LoRA、Vector）在 m 变化时呈现一致的： +- 偏好动态：线性区 → 过渡区 → 收敛区 +- 效用动态：m≈0 附近峰值，随 |m| 增大单调下降 + +## 相关概念 + +- [[preference-log-odds]] — PrefOdds 的详细推导 +- [[steering-dynamics]] — 统一动态模式 +- [[activation-manifold]] — 解释效用退化的机制 +- [[split-steering]] — 基于此分析的联合优化方法 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/preserved-interactions-backbone.md b/concepts/preserved-interactions-backbone.md new file mode 100644 index 0000000..c1b3f4a --- /dev/null +++ b/concepts/preserved-interactions-backbone.md @@ -0,0 +1,49 @@ +--- +title: "保留交互作为推理支柱 (Preserved Interactions as Inference Backbone)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [interactions, LLM, inference, backbone, SFT] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# 保留交互作为推理支柱 + +## 核心假说 + +[[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 提出并验证了以下假说： + +> **SFT 过程中保留的少量 [[interaction-types-sft|交互]] 构成了 LLM 推理的核心骨架**——大部分用于目标 token 预测的交互效应都来自这个小子集，而大量被移除的交互和后期新涌现的交互对预测的贡献几乎可以忽略。 + +## 三重验证 + +### 1. 未抵消效应比例 + +Preserved 交互的 [[uncancelled-interaction-effects|ρ]] 值最高，说明其正负效应很少相互抵消；而 Removed 和 Newly emerged 交互的 ρ ≈ 0，表明它们主要是噪声。 + +### 2. 单交互平均贡献 + +Preserved 交互和早期涌现交互对目标 token 预测的**单个交互平均贡献**显著高于 Removed 交互和后期涌现交互。后者贡献几乎为零。 + +### 3. 独立推理能力 + +仅使用 Preserved 交互进行 token 预测时： +- 测试交叉熵损失**最低** +- 远优于仅使用 Removed 交互或 Newly emerged 交互 + +这表明 Preserved 交互 + 少量早期涌现交互足以支撑基本推理。 + +## 理论意义 + +1. **SFT 的核心价值不是"教学"而是"去噪"**：LLM 在预训练中已经获得了推理所需的核心交互模式 +2. **SFT 的作用是清除噪声、巩固已有骨架**，而非注入新能力 +3. **对"涌现能力"的重新审视**：如果推理骨架预训练中已存在，那么 SFT 阶段的"能力涌现"可能需要重新归因 + +## 相关概念 + +- [[sft-denoising-stage|SFT 去噪阶段]] +- [[interaction-types-sft|SFT 中的三类交互]] +- [[interaction-generalizability|交互泛化性]] +- [[uncancelled-interaction-effects|未抵消交互效应]] +- [[supervised-fine-tuning|监督微调]] diff --git a/concepts/procedural-skill-layer.md b/concepts/procedural-skill-layer.md new file mode 100644 index 0000000..b79a23b --- /dev/null +++ b/concepts/procedural-skill-layer.md @@ -0,0 +1,43 @@ +--- +title: "Procedural Skill Layer（程序技能层）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, harness, skill, retrieval] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +--- + +# Procedural Skill Layer + +> Life-Harness 的第②层：从训练轨迹中构建技能记忆库，在任务条件化阶段检索相关程序技能以指导决策。 + +## 机制 + +该层在任务描述 x 出现时触发（交互循环启动前），从技能记忆库 S 中检索相关技能： + +``` +K_x = TopK_{k∈S} score(x, k) +``` + +其中 score 通过 BM25 实现。检索到的技能 K_x 被注入到初始 system prompt 中，为模型提供**非参数的决策指导**。 + +## 技能的定义 + +在 Life-Harness 中，一个 Skill 是**紧凑且可复用的策略**，捕捉完成特定子任务的核心方法。技能从训练轨迹中蒸馏而来，不像模型参数那样需要梯度更新，而是以文本形式存储和检索。 + +## 与其他层的关系 + +- 在 [[environment-contract-layer|环境契约层]] 之后执行：先建立合法框架，再注入策略指导 +- 与 [[trajectory-regulation-layer|轨迹调控层]] 互补：技能层提供"正向引导"，调控层提供"负向矫正" +- 使 [[runtime-harness-adaptation|Runtime Harness Adaptation]] 具备从历史经验中学习的非参数化能力 + +## 关键特性 + +- **可审计**：技能以自然语言存储，人类可直接理解和验证 +- **可累积**：新轨迹持续丰富技能记忆库 +- **跨模型可复用**：技能是环境侧的策略知识，不绑定特定模型 + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[harness-evolution|Harness Evolution]] +- [[cross-model-harness-transfer|跨模型 Harness 迁移]] diff --git a/concepts/procedural-skill.md b/concepts/procedural-skill.md new file mode 100644 index 0000000..42546aa --- /dev/null +++ b/concepts/procedural-skill.md @@ -0,0 +1,50 @@ +--- +title: "过程技能 (Procedural Skill)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [agent, experience-reuse, documentation, representation] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# 过程技能 (Procedural Skill) + +一种**文档导向的经验表示**，将先前的问题解决知识组织为人类可读、可复用的包（Wang et al., 2026）。 + +## 定义 + +过程技能是为解释、教学、审查和存档而设计的经验包，**而非为受限推理预算下的直接行为控制而设计**。 + +结构：`s = {dmain, daux}` +- **dmain** = {overview, workflow, pitfalls, error_handling} — 核心过程描述 +- **daux** = {api_notes, examples, scripts} — 补充参考和可执行支持材料 + +实例化规模约 2,500 tokens。 + +## 控制价值的稀疏性 + +在 [[skill-probe|技能探针]] 分析中，Skill 的控制信号高度不均匀： + +- **Skill-Workflow**: +1.5pp (唯一明确的正面组件) +- **Skill-ErrorHandling**: +0.7pp +- **Skill-QuickRef**: +0.5pp +- **Skill-Pitfalls**: -0.9pp +- **Skill-Overview**: -4.7pp (强烈有害) +- **完整 Skill**: -1.1pp (低于基线) + +仅约 10-15% 的文档内容提供有意义的控制价值，其余部分构成推理负担。 + +## 与策略基因的对比 + +过程技能的优点是外部化经验的稳定性和可沟通性，但这些优点与推理时控制需求**不匹配**： +- 面向可读性和知识传递优化 +- 而测试时控制需要紧凑、行为导向、在受限预算下有效的引导 + +参见 [[strategy-gene|策略基因]] 了解替代方案。 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 核心对比研究 +- [[strategy-gene|策略基因]] — 替代表示 +- [[skill-probe|技能探针]] — 技能控制价值的系统分析 +- [[test-time-control|测试时控制]] — 技能应实现但未能实现的目标 diff --git a/concepts/prope.md b/concepts/prope.md new file mode 100644 index 0000000..0a5eec3 --- /dev/null +++ b/concepts/prope.md @@ -0,0 +1,41 @@ +--- +title: "PRoPE (Projective Rotary Position Encoding)" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, position-encoding, camera-geometry, transformer] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# PRoPE (Projective Rotary Position Encoding) + +PRoPE 是 Li et al. (NeurIPS 2025) 提出的位置编码扩展，将 [[rotary-position-embedding|旋转位置编码 (RoPE)]] 泛化到 SE(3) 相机变换空间。 + +## 核心思想 + +标准 RoPE 通过旋转矩阵编码序列中 token 的相对位置。PRoPE 将此扩展为：利用相机位姿的 SE(3) 变换来旋转查询和键向量的特定子切片，使得注意力的内积依赖于**相对相机几何**而非绝对位姿。 + +## 数学原理 + +对 SE(3) 群元素 T = (R, t)，其中 R ∈ SO(3) 为旋转，t ∈ R^3 为平移： + +- 查询向量用 T^⊤ 旋转（"我看向世界"） +- 键向量用 T^(-1) 旋转（"世界看向我"） +- 内积结果仅依赖于 T_i^(-1) · T_j（相对变换） + +## 关键特性 + +- **零额外参数**：不引入可学习的相机嵌入或输入通道 +- **帧间一致**：序列中不同帧的相机位姿可以不同，支持动态相机 +- **连续泛化**：训练时未见的相机位姿可直接处理 +- **排列不变性**：与离散视角槽编码配合时，视角顺序不影响结果 + +## 在 Flex4DHuman 中的应用 + +[[flex4dhuman|Flex4DHuman]] 将 PRoPE 作为五轴位置编码中 SE(3) 轴（20 维）的实现，重新利用原本分配给时间 RoPE 的维度容量，零额外参数地将相机位姿注入注意力计算。 + +## 参考 + +- [[se3-relative-camera-encoding|SE(3) 相对相机编码]] — PRoPE 在 SE(3) 编码中的具体应用 +- [[five-axis-positional-encoding|五轴位置编码]] +- [[rotary-position-embedding|RoPE]] diff --git a/concepts/pydantic-ai.md b/concepts/pydantic-ai.md new file mode 100644 index 0000000..00fec14 --- /dev/null +++ b/concepts/pydantic-ai.md @@ -0,0 +1,56 @@ +--- +title: "Pydantic AI" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [pydantic, agent, type-safety, structured-output] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# Pydantic AI + +> 将 [[pydantic|Pydantic]] 的类型系统直接嵌入 Agent 运行时的框架。类型不只是校验输出——类型定义了 Agent 能做什么、怎么做、产出什么。 + +## 核心定位 + +Pydantic AI 不是 LangChain 的竞品——LangChain 用链式调用组织工作流，Pydantic AI 用**类型系统约束 Agent 的工具选择和输出格式**。 + +也不是 Instructor 的竞品——Instructor 解决单次 LLM 结构化输出，Pydantic AI 把这件事内置到多步 Agent 框架里。 + +## 关键能力 + +- **`@agent.tool`**：从函数签名和返回类型自动推断 tool schema——无需手写 JSON Schema +- **`result.data`**：类型安全，IDE 补全可用，不需要手动 `model_validate` +- **多步 Agent**：支持多次推理 + 多次 tool 调用 +- **`instrument=True`**：自动接 [[logfire|Logfire]] trace，全链路可观测 +- **事前约束**：类型的角色从"报错器"变为"编译器"——在运行时之前就约束了行为空间 + +## vs Instructor + +| 能力 | Instructor | Pydantic AI | +|------|-----------|-------------| +| LLM → Pydantic 对象 | ✅ | ✅ | +| Tool 调用自动 schema | ❌ | ✅ | +| 多步 Agent | ❌ | ✅ | +| 全链路 trace | ❌ | ✅ | + +**规则**：单次 LLM 结构化输出 → Instructor。多步推理 + 多 tool 调用的 Agent → Pydantic AI。 + +## 示例 + +```python +agent = Agent('openai:gpt-4o', result_type=OutfitSuggestion, instrument=True) + +@agent.tool +async def get_weather(city: str) -> WeatherInfo: ... + +result = await agent.run("深圳今天穿什么") +# result.data 类型安全，IDE 补全可用 +``` + +## 参考 + +- [[pydantic|Pydantic 生态]] +- [[type-safety-in-agents|Agent 类型安全]] +- [[structured-output|结构化输出]] +- [[logfire|Logfire]] diff --git a/concepts/pydantic-core.md b/concepts/pydantic-core.md new file mode 100644 index 0000000..50765da --- /dev/null +++ b/concepts/pydantic-core.md @@ -0,0 +1,53 @@ +--- +title: "pydantic-core" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [pydantic, rust, validation, performance] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# pydantic-core + +> [[pydantic|Pydantic]] 生态的物理引擎——Rust 编写的校验核心，通过 PyO3 绑定到 Python，完全脱离 GIL。 + +## 校验流程 + +当调用 `model_validate(data)` 时： + +1. Python 层将模型定义转为 **CoreSchema JSON**（一份"校验指令"） +2. CoreSchema JSON 通过 PyO3 传给 Rust 层 +3. Rust 层按 schema 逐字段校验、类型转换、处理嵌套 +4. 返回校验通过的类型化 Python 对象，或 `ValidationError` + +**关键**：步骤 2-4 全部在 Rust 侧完成，不走 GIL。 + +## 性能 + +| 场景 | 纯 Python | pydantic-core | 倍数 | +|------|----------|--------------|------| +| 简单模型 1000 次 | ~12ms | ~1.5ms | 8× | +| 嵌套 3 层 10000 次 | ~450ms | ~35ms | 13× | +| JSON 大文件反序列化 | ~800ms | ~48ms | 17× | +| 内存峰值 | 基线 | -35% | — | + +## 对 AI 开发者的关键意义 + +- `asyncio.gather()` 并发 20 个 LLM API 调用时，每个回复的 JSON 解析在不同线程并行跑 Rust 校验，互不阻塞 +- 深层嵌套模型收益最大——每层嵌套原来都是 Python 层的递归开销 + +## 三配置升级 + +```python +model_config = { + "strict": True, # 类型不匹配直接炸，不静默转换 + "extra": "forbid", # 多字段立刻报错 + "frozen": True, # 创建后不可修改 +} +``` + +## 参考 + +- [[pydantic|Pydantic 生态]] +- [[typeadapter|TypeAdapter]] +- [[pydantic-three-piece-suite|Pydantic 三件套]] diff --git a/concepts/pydantic.md b/concepts/pydantic.md new file mode 100644 index 0000000..fb2b1c9 --- /dev/null +++ b/concepts/pydantic.md @@ -0,0 +1,37 @@ +--- +title: "Pydantic" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [pydantic, validation, python, llm-infrastructure] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# Pydantic + +> Python 数据校验库，已演化为由三层组成的 AI 基础设施生态：Rust 验证引擎 + OTel 可观测平台 + 类型安全 Agent 框架。 + +## 生态三层 + +| 层 | 组件 | 角色 | +|---|------|------| +| 引擎层 | [[pydantic-core|pydantic-core]] | Rust 校验引擎，脱离 GIL，多线程并发 | +| 可观测层 | [[logfire|Logfire]] | 基于 [[open-telemetry|OTel]] 的可观测平台 | +| Agent 层 | [[pydantic-ai|Pydantic AI]] | 类型安全的 Agent 框架 | + +## 认知误区 + +大多数人（包括用了两年的人）只碰了三分之一——BaseModel 校验。实际上 pydantic 已经从一个校验库长成了 AI 基础设施。 + +## 关键演化 + +- Pydantic V1 → V2：从纯 Python 到 Rust 引擎（pydantic-core），性能 5-17× 提升 +- BaseModel → TypeAdapter：从单一校验模式到灵活严格度控制 +- 校验 → 可观测 → Agent 约束：类型系统从"报错器"进化为"编译器" + +## 参考 + +- [[pydantic-core|pydantic-core]] +- [[logfire|Logfire]] +- [[pydantic-ai|Pydantic AI]] +- [[pydantic-three-piece-suite|Pydantic 三件套]] diff --git a/concepts/qlora.md b/concepts/qlora.md new file mode 100644 index 0000000..59d3496 --- /dev/null +++ b/concepts/qlora.md @@ -0,0 +1,28 @@ +--- +title: "QLoRA (量化低秩适配)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [qlora, fine-tuning, quantization, placeholder] +sources: [] +--- + +# QLoRA + +> Quantized Low-Rank Adaptation（Dettmers et al., NeurIPS 2023），将 [[lora|LoRA]] 与 4-bit 量化结合，大幅降低 LLM 微调的内存需求。 + +## 核心机制 + +- **4-bit NormalFloat (NF4)** 量化：专为正态分布权重设计 +- **双重量化**：进一步压缩量化常数 +- **分页优化器**：处理内存峰值 + +## 在 One-Pass to Reason 中的应用 + +[[goru-one-pass-to-reason-2025]] 在 Qwen-3 系列（4B/8B/32B）上使用 QLoRA 进行实验，rank=32，α=64，4-bit NF4 量化。 + +## 相关 + +- [[lora]] +- [[goru-one-pass-to-reason-2025|One-Pass to Reason]] +- [[llama-factory]] diff --git a/concepts/quadrotor-trajectory-following.md b/concepts/quadrotor-trajectory-following.md new file mode 100644 index 0000000..5aa6db9 --- /dev/null +++ b/concepts/quadrotor-trajectory-following.md @@ -0,0 +1,61 @@ +--- +title: "四旋翼轨迹跟踪 (Quadrotor Trajectory Following)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [robotics, control, quadrotor, benchmark] +sources: [raw/papers/naveen-repmt-sac-2026.md] +confidence: high +--- + +# 四旋翼轨迹跟踪 (Quadrotor Trajectory Following) + +四旋翼轨迹跟踪是[[repmt-sac|RepMT-SAC]]的**验证场景**——学习一个通用控制策略，能跟踪多样化的飞行轨迹。 + +## 状态空间 + +``` +s = [p, v, q, ω] ∈ R^13 +``` +- p ∈ R³：位置 +- v ∈ R³：线速度 +- q ∈ H：单位四元数（姿态） +- ω ∈ R³：体坐标系角速度 + +## 任务参数化 + +每个轨迹 τ 是 Legendre 多项式的系数向量： + +``` +f(t) = Σ c_i · ψ_i(t), ψ_i = Legendre 基 +``` + +- 源任务：低阶基 +- ID 任务：基的凸组合 +- OOD 任务：高阶多项式（外推） + +## 奖励函数 + +``` +r(s,a,τ) = -(w₁‖p-p_ref‖² + w₂‖v-v_ref‖² + w₃·h(s)) +``` + +惩罚跟踪误差和控制力度。 + +## 为什么适合多任务 RL + +- **共享动力学**：同一架四旋翼的物理参数在所有轨迹上不变 +- **任务变化奖励**：不同轨迹 τ 仅改变 p_ref, v_ref +- **状态连续**：13 维连续状态 + 4 维连续动作 + +## 实验结果 + +RepMT-SAC 在 IsaacSim 上优于 SAC 和 CTRL-SAC： +- ID 零样本：高达 +30% 奖励提升 +- OOD 少样本：冻结 φ 后快速适应 + +## 参考 + +- [[rep-mt-sac|RepMT-SAC]] +- [[task-invariant-representation|任务不变表征]] +- [[soft-actor-critic|SAC]] diff --git a/concepts/queueing-network-control.md b/concepts/queueing-network-control.md new file mode 100644 index 0000000..fb96911 --- /dev/null +++ b/concepts/queueing-network-control.md @@ -0,0 +1,45 @@ +--- +title: "排队网络控制 (Queueing Network Control)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [operations-research, queueing-theory, control, benchmark] +sources: [raw/papers/chen-bellman-taylor-score-2026.md] +confidence: high +--- + +# 排队网络控制 (Queueing Network Control) + +动态多类别多服务池排队系统的调度是[[bellman-taylor-score-decoding|BTSD]] 框架的**主要验证场景**——也是运筹学中经典的 MDP 基准。 + +## 问题设定 + +- **多类别任务**：不同类型的请求到达系统 +- **多服务池**：多个服务器组，各有不同的处理能力 +- **状态依赖可行动作**：调度决策受服务器可用性和队列约束 +- **目标**：最小化等待时间或最大化吞吐量 + +## 为什么适合 BTSD + +1. **后动作配置自然存在**：调度后的队列长度 = `φ_s(a)` +2. **延续价值函数接近线性**：一阶 Taylor 近似效果好 +3. **动作约束复杂**：离散分配 + 容量约束，标准 DRL 接口不匹配 + +## BTSD 在该场景的应用 + +- 策略学到的是**状态依赖的指数（index）** +- 解码器选择总得分最大的可行调度动作 +- 本质上学到了一个**learned index-based dispatching rule** +- 不引入任何排队特化技术（如方差削减） + +## 实验结果 + +- 小规模实例接近最优策略 +- 大规模系统显著优于传统基准启发式 +- BTSD-PPO 框架直接可用，无需排队特化的架构设计 + +## 参考 + +- [[bellman-taylor-score-decoding|BTSD]] +- [[state-dependent-feasible-action-sets|状态依赖可行动作集]] +- [[post-action-configuration|后动作配置]] diff --git a/concepts/rag.md b/concepts/rag.md new file mode 100644 index 0000000..5e288d7 --- /dev/null +++ b/concepts/rag.md @@ -0,0 +1,24 @@ +--- +title: "RAG (检索增强生成)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [RAG, LLM, retrieval, knowledge] +status: placeholder +--- + +# RAG (检索增强生成, Retrieval-Augmented Generation) + +> ⚠️ 占位符页面 — 待完善 + +RAG 是一种将外部知识检索与 LLM 生成相结合的架构范式。通过从知识库中检索相关文档片段作为上下文，增强 LLM 的事实准确性和知识覆盖范围。 + +**扩展**： +- [[multimodal-rag|多模态 RAG]]：将 RAG 扩展到图像、视频等多模态数据 +- [[rag-systems|RAG 系统]] + +## 相关概念 + +- [[multimodal-rag|多模态 RAG]] +- [[rag-systems]] +- [[context-engineering|上下文工程]] diff --git a/concepts/real-log-canonical-threshold.md b/concepts/real-log-canonical-threshold.md new file mode 100644 index 0000000..959432e --- /dev/null +++ b/concepts/real-log-canonical-threshold.md @@ -0,0 +1,52 @@ +--- +title: "实对数典范阈值 (Real Log Canonical Threshold, RLCT)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["singular-learning-theory", "bayesian-statistics", "algebraic-geometry"] +sources: ["[[dead-directions-geometric-singular-learning]]"] +--- + +# 实对数典范阈值 (RLCT, lambda) + +**RLCT** 是 [[singular-learning-theory|Watanabe 奇异学习理论]]中主导贝叶斯自由能渐近修正的不变量： + +``` +F_n = n · S_n + lambda · log n + (m-1) · log log n + O(1) +``` + +- n: 样本量 +- S_n: 经验熵 +- **lambda**：实对数典范阈值 +- m：重数（multiplicity） + +## 几何含义 + +lambda 是有理数（广中平祐定理的推论），反映奇异集在参数空间中的"尖锐程度"： + +- lambda 小 → 奇异集尖锐 → 模型复杂度低 → 更好的泛化 +- lambda 大 → 奇异集平坦 → 模型复杂度高 + +## 与 Dead Direction 的关系 + +[[dead-directions-geometric-singular-learning|Shirodkar (2026)]] 的核心贡献：对于单 dead direction： + +``` +lambda = 1/(2k) +``` + +其中 k 是 [[kl-order|KL 阶]]，可从 Fisher 曲率衰减率计算——在原始坐标中，无需消解。 + +## 传统计算方式 + +需要通过广中平祐消解（Hironaka resolution）将奇异集"吹开"——对百万参数网络不可行。Shirodkar 的贡献使 lambda 在原始坐标中可计算。 + +## 与其他不变量 + +[[watanabe-triple|Watanabe 三元组]] (lambda, m, nu) 完整刻画了奇异模型的贝叶斯渐近性质。 + +## 参考 +- [[dead-directions-geometric-singular-learning|Dead Directions]] +- [[singular-learning-theory|Singular Learning Theory]] +- [[watanabe-triple|Watanabe's Triple]] +- [[kl-order|KL Order]] diff --git a/concepts/recommendation-cot.md b/concepts/recommendation-cot.md new file mode 100644 index 0000000..57115f4 --- /dev/null +++ b/concepts/recommendation-cot.md @@ -0,0 +1,46 @@ +--- +title: "推荐思维链 (Recommendation CoT)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [recommendation, chain-of-thought, reasoning] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# 推荐思维链 (Recommendation CoT) + +> 专门为推荐任务设计的 Chain-of-Thought 推理格式，区别于通用 LLM 的 CoT。 + +## 与通用 CoT 的区别 + +通用 [[chain-of-thought|思维链 (CoT)]] 面向数学/代码/逻辑等有唯一正确答案的任务。推荐 CoT 需要处理： + +- **多解输出**：多个 item 都可以是合理推荐 +- **隐含意图**：用户意图不可观测，需从 [[itemic-tokens|itemic token]] 序列推断 +- **时序演化**：兴趣随时间变化，需建模长期/短期/周期偏好 + +## OneReason 的三层 CoT 结构 + +OneReason 提出 cognition-enhanced CoT，包含三个层次： + +### R1: Derivation（推导） +从单个 item 语义推理 item-to-item 关系，通过常识或知识关联从噪声交互历史中提取潜在兴趣。 + +### R2: Evolution（演化） +将同一潜在兴趣的 item 建模为时序过程，捕捉长期、短期和周期性偏好。 + +### R3: Recommendation（推荐） +在所有服务域（短视频、直播等）中连贯推理，产出高质量推荐决策。 + +## CoT 鲁棒性的两个条件 + +借鉴多模态 LLM 研究，推荐 CoT 的有效性依赖： +1. **[[itemic-text-alignment|跨模态对齐]]**（感知层面） +2. **粗到细的推理格式**（认知层面） + +## 参考 + +- [[chain-of-thought|思维链 (CoT)]] +- [[onereason|OneReason]] +- [[recommendation-reasoning|推荐推理]] +- [[perception-cognition-recommendation|感知-认知推荐层次]] diff --git a/concepts/recommendation-reasoning.md b/concepts/recommendation-reasoning.md new file mode 100644 index 0000000..bc9fe06 --- /dev/null +++ b/concepts/recommendation-reasoning.md @@ -0,0 +1,42 @@ +--- +title: "推荐推理 (Recommendation Reasoning)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [recommendation, reasoning, chain-of-thought] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# 推荐推理 (Recommendation Reasoning) + +> 在推荐系统中引入「先思考再推荐」的推理范式，让模型在生成推荐结果前进行显式的逻辑推理。 + +## 核心挑战 + +与经典的数学/代码/符号逻辑推理不同，推荐推理具有三个独特性质： + +1. **多解性**：推荐允许多个合理答案，非单一正确答案 +2. **意图不可观测**：用户真实兴趣永远无法直接观测，只能从行为序列推断 +3. **[[abductive-reasoning-recommendation|溯因推理]]**：推荐推理是溯因（Abduction）而非演绎（Deduction）——从行为反推隐含兴趣 + +## 推理 vs 非推理的意外发现 + +初步研究（OneRec-Think、OpenOneRec）发现 **thinking mode 并不优于 non-thinking mode**。OneReason 论文将此归因于两个缺失要素： + +- **[[perception-cognition-recommendation|Perception (感知)]]** 不足：itemic token 缺乏语义 grounding +- **[[perception-cognition-recommendation|Cognition (认知)]]** 不足：CoT 结构不适合推荐任务 + +## 推荐 CoT 的理想结构 + +一个好的推荐 CoT 应该： +1. 从行为序列中选择相关行为作为假设的兴趣点 +2. 将兴趣压缩为可解释的偏好 +3. 建模兴趣间的时间演化 +4. 将推断的偏好状态与推荐 item 关联 + +## 参考 + +- [[onereason|OneReason]] +- [[recommendation-cot|推荐 CoT]] +- [[perception-cognition-recommendation|感知-认知推荐层次]] +- [[abductive-reasoning-recommendation|溯因推理 (推荐)]] diff --git a/concepts/reer-reverse-knowledge-extraction.md b/concepts/reer-reverse-knowledge-extraction.md new file mode 100644 index 0000000..63afbaa --- /dev/null +++ b/concepts/reer-reverse-knowledge-extraction.md @@ -0,0 +1,41 @@ +--- +title: "REER 逆向知识提炼" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [knowledge-engineering, llm, reverse-extraction, reer] +sources: [raw/articles/qifu-llm-finance-practice-2026.md] +--- + +# REER 逆向知识提炼 + +王元（奇富科技）在 2026 DA 上海站分享的**从 QA 对中反向提取结构化知识**的方法，借鉴字节跳动的 REER 算法。 + +## 背景问题 + +在金融客服场景中，坐席的回答经验完全依赖口口相传，没有任何文档记录。只能收集到大规模的用户问题 (X) 和坐席回复 (Y) 的 QA 对。要从这些数据中提取可复用的业务知识才能利用大模型的正向推理能力。 + +## REER 算法适用性 + +REER（字节跳动）最初用于模型训练场景：当只有输入 X 和输出 Y 时，生成推理轨迹 (Reasoning Trace) 来训练模型的推理能力。奇富科技将其适配到**知识逆向提取**场景，但需要额外加工——因为样本级的推理链对知识抽取无用，需要的是**通用逻辑**。 + +## 四步操作流程 + +1. **生成推理轨迹** — 用强大模型逆向分析 X→Y 关系，生成高质量 trace +2. **提取通用逻辑 (SUM)** — 剥离大模型的"内心独白"，提取客观事实的话术逻辑和依据，形成中间变量 SUM。关键区分：样本级推理链 vs 跨样本通用规则 +3. **按业务分类聚合** — 已知坐席回答约 10-12 类问题，按类别对 SUM 聚合，生成行动手册文章 +4. **迭代优化** — 两个验证指标： + - **Perplexity**：如果抽取的 trace 能帮助回答问题，正向推理时 Perplexity 应大幅下降 + - **端到端验证**：用行动手册+用户问题让大模型生成答案，与优秀坐席回复做相似度对比 + +## 关键洞察 + +- 传统 QA 检索是"死记硬背"，而知识手册+大模型是"开卷考试"——后者泛化能力远超前者 +- 从样本级推理到通用知识的关键是**剥离模型内心独白**，提取跨样本稳定的通用逻辑 +- 没有知识就会锁定在传统搜索模式，无法实现泛化——必须先提取知识 + +## 参考 + +- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享 +- [[vertical-llm-knowledge-engineering|垂域 LLM 知识工程]] — 更大的工程范式 +- [[zero-data-cold-start|零数据冷启动]] — REER 试图解决的场景 diff --git a/concepts/reinforcement-learning.md b/concepts/reinforcement-learning.md new file mode 100644 index 0000000..5b4d5b2 --- /dev/null +++ b/concepts/reinforcement-learning.md @@ -0,0 +1,61 @@ +--- +title: "强化学习 (Reinforcement Learning)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, training, fundamental] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# 强化学习 (Reinforcement Learning) + +强化学习（RL）是一种通过**试错和奖励信号**学习最优策略的机器学习范式。在 LLM 时代，RL 已成为后训练（post-training）的核心方法论。 + +## 基本框架 + +- **智能体**（Agent）：在环境中采取行动 +- **状态**（State）：环境的当前描述 +- **动作**（Action）：智能体的可选项 +- **奖励**（Reward）：环境对动作的反馈信号 +- **策略**（Policy）：从状态到动作的映射 `π(a|s)` + +目标：最大化累积期望奖励。 + +## LLM 中的 RL + +在 LLM 训练中，RL 主要用于**对齐和推理能力增强**： + +### 策略梯度方法 +- **[[grpo|GRPO]]**（Group Relative Policy Optimization）：基于组内相对优势的策略优化，DeepSeek-R1 和许多推理模型的核心训练方法 +- **[[group-relative-policy-optimization]]**：GRPO 的通用形式 +- **PPO**（Proximal Policy Optimization）：ChatGPT/InstructGPT 的训练方法 +- **REINFORCE**：最基础的策略梯度方法 + +### 奖励设计 +- **[[reward-model|Reward Model]]**：学习预测人类偏好的模型 +- **[[rlhf|RLHF]]**（RL from Human Feedback）：通过人类偏好训练 +- **Outcome Reward**：基于最终答案正确性的奖励（如数学题） +- **Process Reward**：基于推理过程的奖励 + +### 应用场景 +- **推理 RL**：[[tarpo|TARPO]]、DeepSeek-R1 等，使用 RL 增强推理能力 +- **对齐 RL**：使模型行为符合人类价值观 +- **潜在推理 RL**：[[latent-reasoning|潜在推理]] 中的 RL 应用 + +## 在 TARPO 中的角色 + +[[tarpo|TARPO]] 使用 RL 同时优化两个组件： +1. **LLM 骨干**：优化 token 生成策略（标准 RL） +2. **[[action-head-router|动作头路由器]]**：优化推理模式选择的策略（扩展 RL） + +两者共享同一个 group-relative advantage 信号。 + +## 参考 + +- [[grpo|GRPO]] +- [[group-relative-policy-optimization]] +- [[rlhf|RLHF]] +- [[reward-model|Reward Model]] +- [[latent-reasoning|潜在推理]] +- [[tarpo|TARPO]] diff --git a/concepts/rejection-sampling-fine-tuning.md b/concepts/rejection-sampling-fine-tuning.md new file mode 100644 index 0000000..af50b0e --- /dev/null +++ b/concepts/rejection-sampling-fine-tuning.md @@ -0,0 +1,39 @@ +--- +title: "Rejection Sampling Fine-tuning (RSFT)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [reinforcement-learning, fine-tuning, rejection-sampling] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# Rejection Sampling Fine-tuning (RSFT) + +> 通过采样并筛选高质量模型输出进行监督微调的技术，在 OneReason 中用于 [[specialize-then-unify-rl|specialize-then-unify RL]] 的统一阶段。 + +## 核心思想 + +Rejection Sampling FT (Yuan et al., 2023) 的工作流程： + +1. **采样**：从当前策略（或一组教师模型）采样大量推理轨迹 +2. **筛选**：基于 reward 模型或 verifier 拒绝低质量轨迹 +3. **微调**：仅用通过筛选的高质量轨迹进行 SFT + +## 在 OneReason 中的应用 + +在 [[specialize-then-unify-rl|specialize-then-unify]] 的 Unify 阶段，RSFT 用于： + +- 从各单域专项模型中采样 thinking 轨迹 +- 筛选跨域一致的推理模式 +- 微调得到统一的跨域推理能力 + +## 与其他方法的关系 + +- vs [[multi-teacher-on-policy-distillation|MODPO]]：RSFT 是离线方法（采样后微调），MODPO 是在线方法（训练中蒸馏） +- vs 普通 SFT：RSFT 的关键在于采样+筛选的闭环，确保训练数据质量 + +## 参考 + +- [[specialize-then-unify-rl|Specialize-then-Unify RL]] +- [[multi-teacher-on-policy-distillation|MODPO]] +- [[onereason|OneReason]] diff --git a/concepts/rep-mt-sac.md b/concepts/rep-mt-sac.md new file mode 100644 index 0000000..c04207f --- /dev/null +++ b/concepts/rep-mt-sac.md @@ -0,0 +1,50 @@ +--- +title: "RepMT-SAC" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, multi-task, representation-learning, algorithm] +sources: [raw/papers/naveen-repmt-sac-2026.md] +confidence: high +--- + +# RepMT-SAC: 表征多任务 SAC + +RepMT-SAC 是 [[repmt-sac|Naveen et al. (2026)]] 提出的多任务 RL 算法——在 [[soft-actor-critic|SAC]] 基础上引入 [[spectral-mdp-decomposition|谱 MDP 分解]] 解耦任务不变动力学与任务特定目标。 + +## 核心分解 + +``` +Q(s,a;τ) = ⟨φ(s,a), w(τ)⟩ +``` + +- `φ(s,a)`：任务不变表征（共享动力学） +- `w(τ)`：任务条件编码（特定奖励） + +## 两阶段 + +### 上游（Upstream） +- 联合学习 φ, µ（辅助表征）和 w(τ;θ) +- TD 目标在 φ 上线性 → 训练极稳定 +- 最大熵策略 π(a|s,τ) 从线性 Q 导出 + +### 下游（Downstream） +- φ, µ **冻结** +- 仅微调 w(τ_new) 和 π_new +- OOD 任务少样本快速适应 + +## 关键优势 + +| 维度 | 标准 SAC | RepMT-SAC | +|------|---------|-----------| +| 任务关系 | 独立 | 共享 φ, 特化 w | +| Q 学习 | 非线性 | φ 冻结后线性 | +| OOD 适应 | 需重训 | 微调少量参数 | +| 理论基础 | 无 | 谱分解保证 | + +## 参考 + +- [[spectral-mdp-decomposition|谱 MDP 分解]] +- [[soft-actor-critic|SAC]] +- [[multitask-rl|多任务 RL]] +- [[repmt-sac|论文]] diff --git a/concepts/reparameterization-exploration.md b/concepts/reparameterization-exploration.md new file mode 100644 index 0000000..a025f52 --- /dev/null +++ b/concepts/reparameterization-exploration.md @@ -0,0 +1,53 @@ +--- +title: "重参数化探索 (Reparameterization Exploration)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, latent-reasoning, exploration] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# 重参数化探索 (Reparameterization Exploration) + +重参数化探索是 [[latent-reasoning|潜在推理]] RL 中解决**连续表征确定性困境**的一条技术路线——通过噪声注入为连续表征引入随机性。 + +## 动机 + +连续潜在表征（如 [[soft-token]]）本质上是确定性的——它们是对 logits 的加权求和，不包含采样随机性。这限制了 RL 中的策略探索。 + +## 主要方法 + +### Gaussian 噪声注入 + +在压缩潜变量或连续 token embedding 中注入高斯噪声： + +``` +u_noisy = u + eps， eps ~ N(0, sigma^2) +``` + +代表性工作：Soft Tokens（Butt et al., 2025）、Latent-GRPO（Deng et al., 2026） + +### Gumbel-Softmax 重参数化 + +使用 [[gumbel-softmax|Gumbel-Softmax trick]] 从 categorical 分布中导出可微的概率 soft-token 分布： + +- 保留离散 token 的采样随机性 +- 同时支持梯度反向传播 +- 在 top-k 条件下构造近似的离散采样 + +## 与 TARPO 的关系 + +[[tarpo|TARPO]] 采取了**正交策略**——不修改连续表征本身，而是引入**结构级探索**（structural exploration）： + +- 重参数化探索 = **表征级**随机性（在连续向量内部加噪） +- TARPO 的路由探索 = **结构级**随机性（在 hard/soft 模式间采样） + +TARPO 论文明确将两者的结合作为未来方向。 + +## 参考 + +- [[gumbel-softmax|Gumbel-Softmax]] +- [[latent-reasoning|潜在推理]] +- [[hybrid-reasoning|混合推理]] +- [[tarpo|TARPO]] diff --git a/concepts/representation-collapse.md b/concepts/representation-collapse.md new file mode 100644 index 0000000..5bf24c3 --- /dev/null +++ b/concepts/representation-collapse.md @@ -0,0 +1,66 @@ +--- +title: "表征坍缩 (Representation Collapse)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [self-supervised-learning, JEPA, representation-learning, LeCun] +sources: [raw/articles/lecun-llm-boundary-future-2026.md] +--- + +# 表征坍缩 (Representation Collapse) + +自监督学习中最棘手的问题之一，也是 [[jepa|JEPA]] 架构必须正面应对的核心挑战。 + +## 定义 + +神经网络训练中的一个"偷懒"现象：**模型将所有输入映射为高度相似或相同的向量**，使预测器始终"猜对"（损失下降），但实际上什么也没学到。 + +**特征**： +- 表征的有效维度（PCA检验）远低于名义维度 +- 所有表征聚集在特征空间的狭窄低维区域 +- 丧失了区分不同输入所需的信息量 + +## 经典案例 + +训练 JEPA 预测视频后续帧的表征 → 系统发现"把什么都映射成同一个向量"就是最优解： +- 预测器永远猜对 → 损失下降 ✓ +- 但梯度包含了零信息 → 模型什么也没学到 ✗ + +## 三条解决路线 + +### 1. 对比学习 (Contrastive Learning) + +**思路**：在表征空间制造"排斥力"——正样本对拉近，负样本对推开。 + +**局限（LeCun的观点）**： +- 高维空间随机采样到的负样本大多已是"easy negative"，对训练无效 +- 困难负样本极度稀缺，随机采样几乎碰不到 +- 欠采样仍崩塌，过度采样破坏语义结构 +- **对比学习难以支撑大规模世界模型** + +### 2. 蒸馏方法 (BYOL, DINO) + +**思路**：两个编码器配合——在线网络（学生）做反向传播，目标网络（老师）通过 EMA 缓慢跟随。 + +**局限**： +- 损失函数不等于真实优化目标（"你以为在最小化的代价函数，实际上并不是"） +- 损失曲线无法判断训练状态是否健康 +- "We don't like this method, but it works." — LeCun + +### 3. 显式正则化 ← LeCun 最看好 + +**核心思路**：不靠间接机制防坍塌，直接在数学上规定"表征必须携带信息量"。 + +- [[vicreg|VICReg]]：方差+不变性+协方差三项约束 +- [[sigreg|SIGReg]]：强制嵌入分布匹配各向同性高斯分布 $N(0,I)$ + +## 深层意义 + +表征坍缩暴露了自监督学习的**元问题**：当监督信号仅内生于数据本身，模型天然倾向最省力路径——将所有输入压缩为无信息的常量。三种路线殊途同归，都在强制表征空间保持丰富的几何结构。**这一问题的回答质量，直接决定 JEPA 路线能否从视觉预训练稳定扩展到端到端世界模型。** + +## 来源 + +- [[lecun-llm-boundary-future|原始文章]] +- [[sigreg|SIGReg]] +- [[vicreg|VICReg]] +- [[jepa|JEPA]] diff --git a/concepts/representation-learning-rl.md b/concepts/representation-learning-rl.md new file mode 100644 index 0000000..44737fe --- /dev/null +++ b/concepts/representation-learning-rl.md @@ -0,0 +1,47 @@ +--- +title: "RL中的表征学习 (Representation Learning in RL)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["deep-rl", "representation-learning", "self-supervised-learning"] +sources: ["[[predictive-representations-scalable-mtrl]]"] +--- + +# RL中的表征学习 (Representation Learning in RL) + +在深度RL中，**表征学习**关注如何学习对决策有用的状态/观测表示，而非仅依赖奖励信号。 + +## 为什么奖励监督不够 + +- **稀疏性**：奖励信号可能极稀疏（如围棋仅在终局） +- **非平稳性**：策略更新 → 数据分布变化 → 旧表征失效 +- **TD 方差**：差的表征放大 bootstrapping 误差 + +## 表征学习的信号来源 + +### 1. 重构目标（Reconstruction） +学习编码-解码：z_t ≈ decoder(encoder(s_t)) + +### 2. 对比目标（Contrastive） +正样本对 vs 负样本对：SimCLR 风格 + +### 3. [[auxiliary-predictive-objectives|预测目标]]（Predictive） +预测未来状态/奖励：z_{t+1}, r_t, d_t ← (z_t, a_t) + +预测目标是 [[predictive-representations-scalable-mtrl|Obando-Ceron et al. (2026)]] 的核心方法——已被证明在 scaling 行为中至关重要。 + +## 表征质量的度量 + +- **线性探测**：在冻结表征上训练线性分类器 +- **少样本微调**：在新任务上评估适应速度 +- **Neuronal 分析**：死神经元比例（表征崩溃的指标） + +## 在多任务RL中的特殊角色 + +多任务设定加剧了表征需求：共享表征必须跨任务泛化。[[predictive-representation-learning|预测表征学习]]因其任务无关性（动力学预测不依赖特定奖励函数），天然适合多任务迁移。 + +## 参考 +- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]] +- [[predictive-representation-learning|Predictive Representation Learning]] +- [[multitask-rl|Multitask RL]] +- [[auxiliary-predictive-objectives|Auxiliary Predictive Objectives]] diff --git a/concepts/representation-space.md b/concepts/representation-space.md new file mode 100644 index 0000000..6949d9a --- /dev/null +++ b/concepts/representation-space.md @@ -0,0 +1,23 @@ +--- +title: "Representation Space" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [representation-geometry, interpretability] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Representation Space（表示空间） + +> 占位符页面 — 待扩展 + +## 概述 + +表示空间指LLM中间层的激活空间 $\mathbb{R}^{d_l}$，其中词元表示通过层层仿射变换 $h_{i+1} = W h_i + b$ 形成。关键假设包括 [[linear-representation-hypothesis]]（概念对应线性方向）和 [[activation-manifold]]（激活集中在低维流形上）。 + +## 相关概念 + +- [[linear-representation-hypothesis]] +- [[activation-manifold]] +- [[representation-validity]] +- [[dynamic-weight-updates]] diff --git a/concepts/representation-validity.md b/concepts/representation-validity.md new file mode 100644 index 0000000..23e6692 --- /dev/null +++ b/concepts/representation-validity.md @@ -0,0 +1,39 @@ +--- +title: "Representation Validity" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [representation-geometry, steering, interpretability] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Representation Validity（表示有效性） + +## 定义 + +表示有效性指中间层激活被下游网络层**可靠解码**的程度。在激活流形框架中（Xu et al., 2026），有效性 $V_l(h)$ 在流形 $M_l$ 附近最高，随激活偏离流形而下降。 + +## 形式化 + +存在有效性函数 $V_l: \mathbb{R}^{d_l} \to [0, 1]$： +- $V_l(h) \approx 1$：h 靠近 $M_l$，下游解码稳定 +- $V_l(h) \ll 1$：h 远离 $M_l$，解码不可靠 → 输出崩坏 + +## 与 Steering 的关系 + +导向干预 $\tilde{h}_l(m) = h_l + m\Delta h$ 将激活沿一维方向平移： +- 当平移后的激活仍靠近流形 → 表示有效 → 定向行为调整成功 +- 当平移过量 → 表示失效 → 输出不连贯、违反指令 + +## 与 Token-Level 困惑度的区别 + +有效性是**中间表示级别**的概念，不同于输出层的困惑度： +- 高困惑度但高有效性 → 可能是概念冲突（模型理解但不赞同） +- 低困惑度但低有效性 → 可能随机生成合理但不合上下文的内容 + +## 相关概念 + +- [[activation-manifold]] — 流形几何 +- [[validity-decay]] — $D(m)$ 函数量化有效性衰减 +- [[steering-dynamics]] — 有效性衰减如何驱动三阶段动态 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/resource-access-control.md b/concepts/resource-access-control.md new file mode 100644 index 0000000..b65892b --- /dev/null +++ b/concepts/resource-access-control.md @@ -0,0 +1,40 @@ +--- +title: "Resource Access Control" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-safety, access-control, resource-scope] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# Resource Access Control + +**资源访问控制**是 [[agent-harness-safety|Agent 骨架安全]]中约束 Agent 对资源（数据库记录、文件、API 对象）访问范围的机制，对应 [[harnessaudit|HarnessAudit]] L1 [[boundary-compliance]] 中的资源违规审计通道。 + +## 问题本质 + +HarnessAudit 实验表明：**Agent 通常不会调用明显不合适的工具——而是选择看似合理的工具但将其应用于错误、无关或未经授权的资源**。这意味着： +- 工具级约束（允许/禁止某些工具）是必要的但不充分的 +- 需要**资源级精度**的访问控制——不仅控制"用什么工具"，还控制"操作哪个资源" + +## 违规模式 + +HarnessAudit 的 access checker 定义了四类违规： + +| 编码 | 类型 | 触发条件 | +|------|------|---------| +| V-OT | 工具/资源调用 | 调用了禁止的、不必要的、或角色不当的工具 | +| V-OR | 资源/操作范围 | 将相关操作应用于超出范围的对象 | +| V-IC | 信息路由 | 信息被发送到未经授权的接收方 | +| V-IR | 信息内容 | 允许的接收方收到了不允许的内容 | + +其中 V-OT 和 V-OR 直接对应资源访问控制，是 HarnessAudit 实验中**违规最多**的类别。 + +## 领域差异 + +不同领域对资源访问的需求不同，安全风险分布也不同： +- **金融/办公**：密集资源访问 → 资源边界违规高发 +- **软件工程**：频繁工具使用 → 工具合规较弱 +- **电商/日常**：依赖 Agent 间通信 → 信息流违规为主 + +这提示资源访问控制需要**领域感知**的策略设计。 diff --git a/concepts/richard-dedekind.md b/concepts/richard-dedekind.md new file mode 100644 index 0000000..ff96991 --- /dev/null +++ b/concepts/richard-dedekind.md @@ -0,0 +1,47 @@ +--- +title: "里夏德·狄德金 (Richard Dedekind)" +created: 2026-06-07 +updated: 2026-06-07 +type: concept +tags: [数学家, 实数, 代数数论, 19世纪数学] +--- + +# 里夏德·狄德金 (Richard Dedekind, 1831–1916) + +德国数学家，在数学基础理论领域有深远影响。以戴德金分割（Dedekind cut）和代数数论闻名。长期处于 [[georg-cantor|康托尔]] 的历史阴影中。 + +## 生平与性格 + +- 1831年出生于德国布伦斯瓦赫（Braunschweig） +- 性格内敛审慎，不急于发表成果 +- 与康托尔1872年夏在瑞士盖尔绍相遇，一见如故 +- 一生发表成果相对较少，但极具远见 + +## 主要贡献 + +- **1858年**：找到严格定义实数的方法（戴德金分割），但未立即发表 +- **1872年**：与康托尔各自独立发表实数定义，证明数轴是完备连续统 +- **代数数论**：对代数数域有奠基性工作 +- **1873年**：为康托尔提供了 [[algebraic-numbers-countability|代数数可数性]] 的关键证明——这一贡献后来被康托尔隐藏 + +## 历史不公 + +- 至今无英文传记 +- 维基百科页面长度仅为康托尔的四分之一 +- 1874年康托尔论文中的代数数可数性证明本质上是狄德金的，但未获署名 +- 狄德金从未公开指控康托尔，仅留下私人笔记："两个证明几乎一字不差地以康托尔的名义发表" +- [[emmy-noether|埃米·诺特]] 在1930年代整理其遗物时发现了关键证据 + +## 后世重新评价 + +> "我对狄德金的了解越多，就越为他所折服。" —— 乔尔·戴维·哈姆金斯 + +狄德金在数学界保持着一个知名度不高但极具远见卓识的声誉。2025年失踪信件的发现进一步确认了他在无穷理论中的关键角色（参见 [[cantor-stole-infinity|窃取无穷的数学家]]）。 + +## 相关条目 + +- [[georg-cantor|格奥尔格·康托尔]] +- [[algebraic-numbers-countability|代数数的可数性]] +- [[set-theory-history|集合论史]] +- [[mathematical-priority-disputes|数学优先权争议]] +- [[cantor-stole-infinity|窃取无穷的数学家]] diff --git a/concepts/rlhf.md b/concepts/rlhf.md new file mode 100644 index 0000000..b72cc93 --- /dev/null +++ b/concepts/rlhf.md @@ -0,0 +1,21 @@ +--- +title: "RLHF (Reinforcement Learning from Human Feedback)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [RLHF, alignment, LLM, training] +status: placeholder +--- + +# RLHF (Reinforcement Learning from Human Feedback) + +> ⚠️ 占位符页面 — 待完善 + +RLHF 是一种基于人类反馈的强化学习对齐方法，是 SFT 的主要替代/补充后训练范式。典型流程：SFT → 奖励模型训练 → PPO 优化。 + +与 SFT 的对比是 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 讨论的重要背景。 + +## 相关概念 + +- [[supervised-fine-tuning|SFT]] +- [[dpo]] diff --git a/concepts/rough-path-theory.md b/concepts/rough-path-theory.md new file mode 100644 index 0000000..8611622 --- /dev/null +++ b/concepts/rough-path-theory.md @@ -0,0 +1,47 @@ +--- +title: "粗糙路径理论 (Rough Path Theory)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [stochastic-analysis, mathematics, path-space, rough-paths] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# 粗糙路径理论 (Rough Path Theory) + +粗糙路径理论（Lyons, 1998）是将**随机分析从概率框架中解放**的数学理论——使 Itô 积分和 SDE 可在确定性路径设定中严格处理。 + +## 核心思想 + +经典 Itô 积分依赖概率（鞅、适应性等）。粗糙路径理论用**路径的代数量（签名）**替代概率结构： + +- 路径 `X : [0,T] → R^d` 被提升为粗糙路径 `X = (X, ∫ X⊗dX, ∫ X⊗dX⊗dX, ...)` +- SDE `dY = f(Y)dX` 可被解释为**确定性映射** `Y = F(X)` +- 连续性（universal limit theorem）：解映射对粗糙路径拓扑连续 + +## 两个基础组件 + +### [[signature|签名 (Signature)]] +路径的迭代积分集合 `S(X) = (1, S^1, S^2, ...)` → 路径空间的"坐标" + +### 粗糙路径拓扑（p-variation） +`α-Hölder rough paths` 空间 → 捕获路径的不规则程度 + +## 与经典随机分析的关系 + +| 概念 | 概率版本 | 粗糙路径版本 | +|------|---------|-------------| +| Itô 积分 | 随机积分 | 粗糙路径积分 | +| SDE | 随机微分方程 | 粗糙微分方程 (RDE) | +| Itô 引理 | 随机链式法则 | 连续性定理 | + +## 在加权 UAT 中的应用 + +[[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 使用粗糙路径理论定义路径空间为**弱几何 α-Hölder rough paths 的流形**，然后在其上证明签名的线性函数可逼近任意路径泛函（含导数）。 + +## 参考 + +- [[signature|Signature]] +- [[non-anticipative-functionals|非预期泛函]] +- [[weighted-uat-manifolds|论文原文]] diff --git a/concepts/runtime-harness-adaptation.md b/concepts/runtime-harness-adaptation.md new file mode 100644 index 0000000..e6a913f --- /dev/null +++ b/concepts/runtime-harness-adaptation.md @@ -0,0 +1,44 @@ +--- +title: "Runtime Harness Adaptation（运行时骨架适配）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, harness, runtime-adaptation] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +confidence: high +--- + +# Runtime Harness Adaptation + +> 不更新模型权重，而是进化模型与确定性环境之间的 Runtime 接口层——将训练轨迹中的反复失败转化为可复用的结构化干预。 + +## 核心定义 + +Runtime Harness Adaptation 是一种 **Agent 改进范式**：保持 LLM 参数冻结（θ fixed），通过适配运行时骨架 H′ ← A_harness(H, T_train) 来提升 Agent 的交互表现。适配后的 harness 在评估时保持固定，不修改模型权重，也不修改评估环境。 + +与 [[runtime-interface-adaptation|参数适配（Parameter Adaptation）]] 的区别在于：参数适配将领域特定的行为吸收进模型权重，需要随模型或环境变化重新训练；Harness 适配捕获的是**环境侧的可复用结构**，具有模型无关性。 + +## 四个生命周期层 + +Life-Harness 将 Harness 适配组织为四个生命周期阶段（详见 [[xu-life-harness|Life-Harness 论文]]）： + +1. **环境契约层** [[environment-contract-layer]] — 交互前校准工具和接口约束 +2. **程序技能层** [[procedural-skill-layer]] — 从轨迹中检索可复用程序 +3. **动作实现层** [[action-realization-layer]] — 执行前验证和规范化动作 +4. **轨迹调控层** [[trajectory-regulation-layer]] — 执行后检测退化并触发恢复 + +## 为什么有效 + +在确定性、规则驱动的领域中，大量 Agent 失败不是模型"不够聪明"，而是接口层的不匹配： +- 工具契约被误解 +- 动作格式不可执行 +- 反馈无法触发恢复 +- 轨迹陷入重复/停滞 + +这些失败是**可诊断、可结构化、可跨模型复用的**——这正是 Harness 适配的用武之地。 + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[agent-harness-engineering|Agent Harness Engineering]] +- [[agent-harness-mini|Mini Agent Harness]] +- [[cross-model-harness-transfer|跨模型 Harness 迁移]] diff --git a/concepts/runtime-interface-adaptation.md b/concepts/runtime-interface-adaptation.md new file mode 100644 index 0000000..9f2f21e --- /dev/null +++ b/concepts/runtime-interface-adaptation.md @@ -0,0 +1,43 @@ +--- +title: "Runtime Interface Adaptation（运行时接口适配）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, adaptation, runtime, paradigm] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +confidence: high +--- + +# Runtime Interface Adaptation + +> 一种 Agent 改进范式：适配模型与环境的**接口层**而非模型参数本身。与 Parameter Adaptation 互补。 + +## 两种范式对比 + +| 维度 | Parameter Adaptation | Runtime Interface Adaptation | +|------|---------------------|------------------------------| +| 修改对象 | 模型权重 θ | Harness H | +| 模型状态 | θ′ 改变 | θ 冻结 | +| 适用性 | 模型/任务特定 | 环境特定，模型无关 | +| 复用成本 | 换模型需重新训练 | 同一环境可跨模型复用 | +| 典型方法 | SFT / RL / Distill | [[runtime-harness-adaptation\|Life-Harness]] | +| 适配内容 | 推理能力、工具使用模式 | 工具契约、动作验证、轨迹调控 | + +## 动机 + +在确定性、规则驱动的 Agent 领域（如 ALFWorld、τ-bench、AgentBench），环境的规则结构是**稳定且可显式建模的**。将这些结构编码进模型权重是间接且高成本的做法；将它们暴露在 Runtime 接口层则更直接、更易维护、更可跨模型迁移。 + +Life-Harness 的实验表明：仅在 Qwen3-4B-Instruct 上训练的 harness 可直接提升其他 17 个模型的表现，平均相对增益 88.5%——这正是 Runtime Interface 适配的核心优势。 + +## 定位 + +Runtime Interface Adaptation 不是要取代 Parameter Adaptation，而是作为**互补范式**： +- 模型变强（Parameter Adaptation）→ 更好的推理和决策 +- 接口变好（Interface Adaptation）→ 更少的协议错误和轨迹退化 + +两者叠加可获得最大收益——Life-Harness 同时提升了基础模型和工具微调模型。 + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[runtime-harness-adaptation|Runtime Harness Adaptation]] +- [[agent-harness-engineering|Agent Harness Engineering]] diff --git a/concepts/safety-adherence-rate.md b/concepts/safety-adherence-rate.md new file mode 100644 index 0000000..a72dc1c --- /dev/null +++ b/concepts/safety-adherence-rate.md @@ -0,0 +1,43 @@ +--- +title: "Safety Adherence Rate" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-safety, metric, scoring] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# Safety Adherence Rate (SAR) + +**安全遵守率**（Safety Adherence Rate）是 [[harnessaudit|HarnessAudit]] 用于量化 L1 [[boundary-compliance|边界合规]] 的核心指标。其关键设计是作为**乘法性安全门控**（multiplicative safety gate）而非加法项进入总体评分。 + +## 公式 + +对每个任务 i 和通道 c ∈ {t, r, f}（工具、资源、信息流）： + +- **工具和资源通道**：SAR_c = 1 - Σ ω_ℓ × V_{i,c}^ℓ，其中 ω_ℓ 为严重性权重，V 为加权违规计数 +- **信息流通道**：SAR_f 取任务级加权违规率的平均（仅针对有信息流审计机会的任务） + +任务级 SAR_i 取三个通道的均值： + +``` +SAR_i = (SAR_t + SAR_r + SAR_f) / 3 +``` + +## 作为安全门控 + +总体 HarnessAudit 评分： + +``` +Score_i = SAR_i × (α·TCR_i + β·AVS_i + γ·PBi) +``` + +默认 α=0.7, β=0.15, γ=0.15。SAR 是**乘法因子**——即使 TCR 很高，如果 SAR 接近 0（安全违规严重），总分也会接近 0。这确保了： +- "完成但越权"的执行不会获得高分 +- 能力与安全被**强制联合评估**而非独立打分 + +## 实验发现 + +- 最优系统总分仅 0.32 → 安全约束大幅拉低了能力分数 +- Gemini 3.1 Pro 的 SAR 最高（0.48），即使 TCR 不是最高，总体分仍领先 +- 资源访问 SAR 系统性最低 → 资源粒度的精确控制是当前骨架安全的最薄弱环节 diff --git a/concepts/scaling-permutation-symmetry.md b/concepts/scaling-permutation-symmetry.md new file mode 100644 index 0000000..57cd6e5 --- /dev/null +++ b/concepts/scaling-permutation-symmetry.md @@ -0,0 +1,48 @@ +--- +title: "缩放与置换对称性 (Scaling & Permutation Symmetries)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["neural-networks", "symmetries", "identifiability", "relu"] +sources: ["[[relu-neuromanifolds-semi-algebraicity]]"] +--- + +# 缩放与置换对称性 (Scaling & Permutation Symmetries) + +神经网络参数化映射的两个**平凡对称性**——改变权重但不改变网络实现的函数。 + +## 缩放对称性 (Scaling) + +由 ReLU 的正齐次性 ReLU(cx) = c ReLU(x)（c > 0）产生： + +- 将隐藏层神经元的**入边权重**乘以 c > 0 +- 将同一种经元的**出边权重**除以 c +- 函数不变 + +群：Sc(d) = (R+)^L，作为 GL_d 的子群（正标量矩阵） + +## 置换对称性 (Permutation) + +同一隐藏层中的神经元可以任意重排： + +- 交换隐藏层中两个神经元的位置 +- 同步交换它们所有的入边和出边权重 +- 函数不变 + +群：Pr(d) = Product_i Sigma_{di}，作为 GL_d 的子群（置换矩阵） + +## 平凡对称性群 + +G(d) = 是缩放和置换生成的子群。 + +通过消去缩放作用：令 P = P_d / Sc(d)（权重空间除去零行，模缩放），研究 phi: P -> M_d 在剩余 Pr(d) 作用下的性质。 + +## 隐藏对称性 vs 平凡对称性 + +[[honest-open-subset|Honest 开子集]]的精确定义：所有对称性都是平凡的 G(d) 对称性的区域。在 honest 开集之外，存在[[hidden-symmetries-neural|隐藏对称性]]。 + +## 参考 +- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]] +- [[hidden-symmetries-neural|Hidden Symmetries]] +- [[honest-open-subset|Honest Open Subset]] +- [[parametrization-map|Parametrization Map]] diff --git a/concepts/scientific-literature-qa.md b/concepts/scientific-literature-qa.md new file mode 100644 index 0000000..05729a6 --- /dev/null +++ b/concepts/scientific-literature-qa.md @@ -0,0 +1,39 @@ +--- +title: "Scientific Literature QA — Question Answering over Research Papers" +type: concept +created: 2026-06-04 +tags: [scientific-literature, question-answering, information-retrieval] +sources: ["ma-intragent-2026"] +--- + +# Scientific Literature QA（科学文献问答） + +**定义**：以科学论文、技术报告、学术文献为信息来源的问答任务，要求系统理解专业领域语言、数值精度和跨节逻辑关系。 + +## 任务谱系 + +科学文献 QA 包含多个子任务： + +| 子任务 | 代表性工作 | 特点 | +|--------|-----------|------| +| 文献搜索式 QA | PaperQA2, SciMaster | 在外部文献库中搜索相关论文后回答 | +| 对比/综述问答 | PeerQA | 需要跨论文比较或论证 | +| 开放科学推理 | ScienceQA | 需要多步推理和领域知识 | +| **内容锚定检索** | **[[intraview|IntraView]]** | **严格限定于单篇论文内容** | + +## 核心挑战 + +1. **领域语言鸿沟**：查询术语（如"表面增强拉曼散射"）与文献中使用的术语（如 SERS、纳米颗粒）可能完全不同 +2. **数值精度**：实验参数（如"514.5 nm 激光"）的提取需要精确匹配 +3. **跨节依赖**：方法、结果、讨论之间需要交叉引用 +4. **图表信息**：关键信息可能在图表而非文本中 + +## 评估策略演进 + +传统评估（BLEU/ROUGE）难以处理科学术语的同义词和缩写。[[intrabench|IntraBench]] 引入的 LLM 锚定多选题评估是一种进步——允许语义等价而非字面匹配。 + +## 相关概念 + +- [[intraview|IntraView]] — 科学文献 QA 的一个严格的子任务 +- [[intrabench|IntraBench]] — 首个多领域科学文献 QA 基准 +- [[content-grounded-retrieval]] — 内容锚定作为评估的基础约束 diff --git a/concepts/se3-relative-camera-encoding.md b/concepts/se3-relative-camera-encoding.md new file mode 100644 index 0000000..0c8bee8 --- /dev/null +++ b/concepts/se3-relative-camera-encoding.md @@ -0,0 +1,51 @@ +--- +title: "SE(3) 相对相机编码" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, camera-geometry, position-encoding, 3d-reconstruction] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# SE(3) 相对相机编码 (SE(3) Relative Camera Encoding) + +一种基于 [[prope|PRoPE (Projective Rotary Position Encoding)]] 的相机位姿编码方案，将连续 SE(3) 变换直接注入自注意力机制。 + +## 核心公式 + +对每个 token i（关联相机位姿 Ti ∈ SE(3)），查询和键向量的 SE(3) 子切片分别变换： + +``` +Q_i^(SE(3)) ← T_i^⊤ · Q_i^(SE(3)) +K_j^(SE(3)) ← T_j^(-1) · K_j^(SE(3)) +``` + +其中 T_i, T_j ∈ SE(3) 为 token i 和 j 的相机位姿。注意力计算因此依赖于 token 间的**相对相机变换**。 + +## 设计优势 + +- **相对性**：编码的是相机间的相对变换而非绝对位姿，天然支持任意相机布局 +- **连续性**：SE(3) 编码是连续函数，支持训练时未见过的相机位姿 +- **零额外通道**：不引入额外输入通道或可学习参数，与 ray-map / Plücker 嵌入等方法形成对比 +- **旋转平移统一**：SE(3) 同时编码旋转和平移，比仅编码旋转的 SO(3) 更完整 + +## 数值稳定 + +每序列的相机位姿被归一化： +- 所有相机相对于**第一个相机**表达 +- 平移被缩放至单位距离 + +## 与其他相机编码对比 + +| 方法 | 额外参数 | 泛化性 | 分辨率耦合 | +|------|---------|--------|-----------| +| Ray-map / Plücker | 需额外输入通道 | 固定相机布局 | 是 | +| View-index embedding | 需学习嵌入 | 固定视角槽数 | 否 | +| Cross-attention 注入 | 需额外交叉注意力 | 中等 | 否 | +| **SE(3) PRoPE** | **零** | **任意布局** | **否** | + +## 参考 + +- [[five-axis-positional-encoding|五轴位置编码]] — 作为五轴的一轴使用 +- [[prope|PRoPE]] — 底层技术 +- [[flex4dhuman|Flex4DHuman]] — 应用该编码的具体模型 diff --git a/concepts/section-ranking.md b/concepts/section-ranking.md new file mode 100644 index 0000000..1f1280c --- /dev/null +++ b/concepts/section-ranking.md @@ -0,0 +1,43 @@ +--- +title: "Section Ranking — Structure-Aware Literature Section Prioritization" +type: concept +created: 2026-06-04 +tags: [information-retrieval, ranking, scientific-literature, llm-reasoning] +sources: ["ma-intragent-2026"] +--- + +# Section Ranking（章节排序） + +**定义**：IntrAgent 第一阶段的核心机制——利用科学文献的结构知识，通过 LLM 推理对章节按与查询的相关性进行排序。 + +## 三步流程 + +### 1. 章节标题解析（Section Heading Parsing） +- 使用 [[mineru]]（视觉模型）将 PDF 转为 Markdown +- 统一提取所有 `# Section` 和 `## Subsection` 标题 +- 标准化不同模板的文献格式 + +### 2. [[hierarchy-preservation|层级保持]]（Hierarchy Preservation） +- LLM 推导章节之间的父子/兄弟关系 +- 构建完整的章节树 +- 过滤冗余节点（父章节后紧跟子章节且无中间内容时去重） + +### 3. 推理排序（Reasoning-Based Ranking） +- LLM 基于结构化知识推理哪个章节最可能包含答案 +- 输出排序列表 R = [r₁, ..., rₙ] +- 按此顺序供迭代阅读阶段依次访问 + +## 与语义相似度排序的对比 + +传统的 [[rag|RAG]] 使用 embedding 余弦相似度对文本片段排序，存在两个根本问题： +- **领域术语错位**：查询中的术语可能与文献中使用的术语完全不同（如同义词、缩写） +- **忽略结构**：科学文献的层级结构（方法→结果→讨论）蕴含重要的语义信息，平面检索丢失这些 + +IntrAgent 的推理排序通过 LLM 的结构感知推理直接解决这两个问题。 + +## 相关概念 + +- [[iterative-reading|迭代阅读]] — 使用排序结果进行后续阅读 +- [[hierarchy-preservation]] — 层级保持机制 +- [[mineru]] — PDF 转换工具 +- [[content-grounded-retrieval]] — 内容锚定检索 diff --git a/concepts/semi-algebraic-set.md b/concepts/semi-algebraic-set.md new file mode 100644 index 0000000..4c30a80 --- /dev/null +++ b/concepts/semi-algebraic-set.md @@ -0,0 +1,51 @@ +--- +title: "半代数集 (Semi-algebraic Set)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["algebraic-geometry", "real-algebraic-geometry", "tarski-seidenberg"] +sources: ["[[relu-neuromanifolds-semi-algebraicity]]"] +--- + +# 半代数集 (Semi-algebraic Set) + +**半代数集**是实代数几何的基本对象：由多项式等式和不等式的有限布尔组合定义的 R^n 的子集。 + +## 形式化定义 + +S in R^n 是半代数的，如果它可以表示为： + +``` +S = { x in R^n | P_i(x) = 0, Q_j(x) > 0 } +``` + +其中 P_i, Q_j 是实系数多项式，通过有限次并、交、补运算组合。 + +## 关键性质 + +- **Tarski-Seidenberg 定理**：半代数集在多项式映射的投影下封闭 +- **有限分解**：半代数集可分解为有限个同胚于开立方体的胞腔 +- **可量化消去**：一阶半代数公式等价于无量词公式 + +## 在神经代数几何中的角色 + +[[relu-neuromanifolds-semi-algebraicity|Flinth et al. (2026)]] 的核心问题： + +1. ReLU 网络的[[neuromanifold|神经流形]]是否是半代数空间？ +2. 如果是，什么意义下的半代数？ +3. [[honest-open-subset|Honest 开子集]]的半代数性 + +**主要结论**：M_d 不是权重空间的半代数商，但可能在 pro-半代数意义下有结构。 + +## 与代数簇的区别 + +| 代数簇 | 半代数集 | +|--------|---------| +| 仅等式 | 等式 + 不等式 | +| 代数闭域上 | 实数域上 | +| 多项式映射保持簇 | 多项式映射保持半代数性 | + +## 参考 +- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]] +- [[neuroalgebraic-geometry|Neuroalgebraic Geometry]] +- [[neuromanifold|Neuromanifold]] diff --git a/concepts/sequence-packing.md b/concepts/sequence-packing.md new file mode 100644 index 0000000..0dce8c5 --- /dev/null +++ b/concepts/sequence-packing.md @@ -0,0 +1,30 @@ +--- +title: "Sequence Packing (序列打包)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [training-optimization, efficiency, placeholder] +sources: [] +--- + +# Sequence Packing + +> 将多个短序列拼接为一个长序列以提升 GPU 利用率的训练技术（Krell et al., 2022），需通过位置 ID 防止跨样本注意力污染。 + +## 核心思想 + +在监督微调中，batch 内的序列长度通常不均匀。序列打包将多个短序列拼接在一起，使 GPU 处理的 token 数最大化。 + +## 实现要点 + +1. **无污染保证**：通过设置不同的 position ID 区间来防止不同序列之间的注意力泄漏 +2. **掩码叠加**：打包掩码（防跨样本污染）可与自定义注意力掩码通过逻辑 AND 结合 + +## 在 One-Pass to Reason 中的应用 + +[[goru-one-pass-to-reason-2025]] 中的 Flex-Pack 配置将序列打包与 [[block-sparse-attention]] 叠加，实现最佳加速效果。 + +## 相关 + +- [[goru-one-pass-to-reason-2025|One-Pass to Reason]] +- [[block-sparse-attention]] diff --git a/concepts/set-theory-history.md b/concepts/set-theory-history.md new file mode 100644 index 0000000..3c478fb --- /dev/null +++ b/concepts/set-theory-history.md @@ -0,0 +1,54 @@ +--- +title: "集合论史" +created: 2026-06-07 +updated: 2026-06-07 +type: concept +tags: [集合论, 数学史, 数学基础, 无穷] +--- + +# 集合论史 + +集合论（Set Theory）是现代数学的通用语言。从19世纪末的争议到20世纪的公理化，它的历史是数学基础革命的缩影。 + +## 时间线 + +### 前史：无穷的禁忌 +- 古希腊芝诺悖论 +- 高斯：无穷只是"修辞手法"（façon de parler），不能是真正的数学对象 +- 19世纪前，数学家一致回避将无穷作为研究对象 + +### 1872–1874：奠基 +- [[georg-cantor|康托尔]] 和 [[richard-dedekind|狄德金]] 各自独立定义实数（1872） +- 狄德金证明 [[algebraic-numbers-countability|代数数可数]]（1873） +- 康托尔发表论文，证明实数不可数，建立 [[infinity-hierarchy|无穷层级体系]]（1874） +- （2025年新证据表明该论文隐藏了狄德金的关键贡献，见 [[cantor-stole-infinity|窃取无穷的数学家]]） + +### 1874–1897：康托尔的孤独探索 +- 康托尔持续发展集合论，提出超限数、连续统假设 +- 受到 [[leopold-kronecker|克罗内克尔]] 的强烈压制 +- 晚年抑郁症加重 + +### 1900–1930：公理化与接受 +- 希尔伯特将连续统假设列为23个问题之首（1900） +- 罗素悖论揭示朴素集合论的内在矛盾（1901） +- Zermelo-Fraenkel 公理系统（ZF/ZFC）的建立（1908–1922） + +### 1930年代 +- [[emmy-noether|诺特]] 整理狄德金信件，揭示合作真相（1937） +- 哥德尔不完备定理对形式化数学基础的冲击 + +### 1963–至今 +- Paul Cohen 证明连续统假设独立于 ZFC（1963） +- 大基数理论、内模型、力迫法等更深层研究 + +## 哲学意义 + +集合论的建立标志着**数学从"关于数量和空间的科学"转变为"关于抽象结构和关系的形式系统"**。现代数学的全部领域——从数论到拓扑、从分析到代数——都以集合论为底层语言。 + +## 相关条目 + +- [[infinity-hierarchy|无穷层级体系]] +- [[countable-uncountable-infinity|可数与不可数无穷]] +- [[georg-cantor|格奥尔格·康托尔]] +- [[richard-dedekind|里夏德·狄德金]] +- [[cantor-stole-infinity|窃取无穷的数学家]] diff --git a/concepts/sft-denoising-stage.md b/concepts/sft-denoising-stage.md new file mode 100644 index 0000000..f153b1e --- /dev/null +++ b/concepts/sft-denoising-stage.md @@ -0,0 +1,54 @@ +--- +title: "SFT 去噪阶段 (SFT Denoising Stage)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [SFT, denoising, LLM, fine-tuning, overfitting] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# SFT 去噪阶段 (SFT Denoising Stage) + +## 核心发现 + +[[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 揭示了 SFT 过程呈现清晰的**两阶段动力学**： + +### 第一阶段：去噪阶段（Denoising Stage） + +- **时长**：极短（~1000 训练步以内） +- **主要行为**：移除 [[interaction-types-sft|噪声交互]] + - 被移除的交互几乎全部是：高阶、非泛化、正负效应抵消的噪声模式 + - 移除的交互数量占总移除量的绝大部分 +- **新交互涌现**：极少，且涌现的少量交互质量较高（低阶、泛化性强） +- **保留交互**：少量低阶、可靠的交互被识别并巩固 +- **本质**：**这是 SFT 唯一真正有效的阶段** + +### 第二阶段：过拟合阶段（Overfitting Stage） + +- **时长**：占据 SFT 过程的大部分 +- **主要行为**：大量涌现新的 [[interaction-types-sft|噪声交互]] + - 高阶、非泛化、正负效应抵消 + - 与训练-测试损失差距增大强相关 +- **交互移除**：几乎停止 +- **本质**：**持续微调不仅无效，反而有害** + +## 理论意义 + +这一发现从根本上重新定义了 SFT 的效用： +1. SFT 的本质是**去噪**而非**学习新能力** +2. SFT 的有效窗口极窄——少量样本就够了 +3. 大规模 SFT 数据的边际价值有限 + +## 实践启示 + +- 为 [[sft-early-stopping|SFT 早停策略]] 提供了原则性依据 +- 交互演变可作为早停的诊断信号 +- 解释了为什么 SFT 在 LLM 上效果不一致：取决于去噪是否在过拟合开始前充分完成 + +## 相关概念 + +- [[interaction-types-sft|SFT 中的三类交互]] +- [[preserved-interactions-backbone|保留交互作为推理支柱]] +- [[sft-early-stopping|SFT 早停策略]] +- [[supervised-fine-tuning|监督微调]] diff --git a/concepts/sft-early-stopping.md b/concepts/sft-early-stopping.md new file mode 100644 index 0000000..8e8c1fe --- /dev/null +++ b/concepts/sft-early-stopping.md @@ -0,0 +1,55 @@ +--- +title: "SFT 早停策略 (SFT Early Stopping)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [SFT, early-stopping, LLM, fine-tuning, training] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# SFT 早停策略 (SFT Early Stopping) + +## 传统早停 vs. 交互基早停 + +传统早停通常基于验证损失的变化，而 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 提出了一种**原则性的、基于交互的早停策略**。 + +## 核心原理 + +SFT 呈现清晰的 [[sft-denoising-stage|两阶段动力学]]： +1. **去噪阶段**（~1000 步）：移除噪声交互 → SFT 唯一有效的阶段 +2. **过拟合阶段**（后续）：大量涌现噪声交互 → 不仅无效而且有害 + +因此，**当去噪阶段结束时，就是 SFT 的最优停止点**。 + +## 交互作为诊断信号 + +交互演变提供了传统损失曲线无法捕捉的细粒度信号： + +| 信号 | 含义 | +|------|------| +| 被移除交互的数量/强度趋于饱和 | 去噪完成 | +| 新涌现交互的阶数急剧上升 | 进入过拟合阶段 | +| [[interaction-generalizability|γ]] 急剧下降 | 新交互不可靠 | +| [[uncancelled-interaction-effects|ρ]] 急剧下降 | 新交互的正负效应抵消 | + +## 实践启示 + +1. **数据规模重估**：极少量样本（~1000 步）即可完成去噪——大规模 SFT 数据边际价值有限 +2. **训练监控**：追踪交互演变而非仅看损失曲线 +3. **自动化早停**：当交互移除趋于饱和时自动停止训练 + +> 这一发现挑战了"更大规模微调必然更好"的传统信念。 + +## 与现有早停方法的关系 + +- **验证损失早停**：是一个粗粒度的代理信号，可能滞后于交互层面的变化 +- **交互基早停**：提供了更早、更原则性的停止信号 +- 两者可以互补使用 + +## 相关概念 + +- [[sft-denoising-stage|SFT 去噪阶段]] +- [[interaction-types-sft|SFT 中的三类交互]] +- [[supervised-fine-tuning|监督微调]] +- [[interaction-generalizability|交互泛化性]] diff --git a/concepts/shapley-values.md b/concepts/shapley-values.md new file mode 100644 index 0000000..4f64027 --- /dev/null +++ b/concepts/shapley-values.md @@ -0,0 +1,22 @@ +--- +title: "Shapley 值 (Shapley Values)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [game-theory, interpretability, feature-attribution] +status: placeholder +--- + +# Shapley 值 (Shapley Values) + +> ⚠️ 占位符页面 — 待完善 + +Shapley 值源自合作博弈论，在机器学习中广泛用于特征归因。计算每个输入变量对所有可能子集的边际贡献的加权平均。 + +与 [[interaction-based-explanation|交互基解释]] 在计算复杂性上类似（均涉及指数级子集枚举），但交互提取关注变量间的组合效应（AND-OR 交互），而非单个变量的独立贡献。 + +## 相关概念 + +- [[interaction-based-explanation|交互基解释]] +- [[and-or-interactions|AND-OR 交互]] +- [[logical-model-interaction|交互逻辑模型]] diff --git a/concepts/signature.md b/concepts/signature.md new file mode 100644 index 0000000..ceb15db --- /dev/null +++ b/concepts/signature.md @@ -0,0 +1,57 @@ +--- +title: "签名 (Signature of Paths)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [rough-paths, stochastic-analysis, representation-learning, signature-methods] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# 签名 (Signature of Paths) + +签名是**路径的泛函多项式基**——可以理解为路径空间上的"Taylor 展开"或"非交换多项式"。[[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 证明签名的线性函数可以逼近任意路径泛函（含导数）。 + +## 定义 + +对路径 `X : [0,T] → R^d`，其截断到 K 阶的签名为： + +``` +S^K(X) = (1, S^1, S^2, ..., S^K) + +其中 S^k(X) = ∫_{0≤t_1<... 不是 AI 助手偶尔推送带有偏见的内容，而是你触达世界的所有信息都先经它过滤一遍。 + +当 AI 助手替代搜索引擎成为信息入口，如果所有信息过滤都在硅谷或北京训练完成，全球用户的认知底色会染上训练者的价值观。 + +## 三个层面的不匹配 + +1. **语言层面**：低资源语言在训练数据中天然不足，处理能力远弱于英语/中文 +2. **文化层面**：非主流文化在公开互联网数据中代表性不足 +3. **价值与政治层面**：少数 AI 助手无法代表多元政治观点 + +## 全球动态 + +印度、法国、韩国、日本等多国已在推动主权AI议程，由政府或本土机构投资自有基础模型。NVIDIA CEO Jensen Huang 亦公开支持"每个国家都需要主权AI"。 + +## LeCun 的方案：[[tapestry-federated|Tapestry]] + +与仅提出政治诉求不同，LeCun 给出了具体的工程方案——联邦式全球训练：贡献者共享参数向量而非数据，兼顾数据主权与全球协作。 + +## 来源 + +- [[lecun-llm-boundary-future|原始文章]] +- [[tapestry-federated|Tapestry]] diff --git a/concepts/sparse-autoencoder.md b/concepts/sparse-autoencoder.md new file mode 100644 index 0000000..905cc6f --- /dev/null +++ b/concepts/sparse-autoencoder.md @@ -0,0 +1,48 @@ +--- +title: "稀疏自编码器 (Sparse Autoencoder)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [interpretability, architecture, dictionary-learning, sparse-coding] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 稀疏自编码器 (Sparse Autoencoder) + +SAE 是**机制可解释性的核心工具**——通过学过完备稀疏表征将神经网络激活分解为可解释特征。 + +## 基本结构 + +``` +z = W_enc (x - b_pre) + b_enc # 编码：从 n 维激活映射到 d 维 (d >> n) +a = Act(z) # 稀疏激活 +x̂ = W_dec a + b_dec # 解码：重构原始激活 +``` + +## 主要变体 + +[[geometric-sae-concepts|Zhang et al. (2026)]] 将 SAE 分为两类： + +### [[absolute-gating|绝对门控]] +每个神经元激活独立于其他： +- **ReLU SAE**：`L = ‖x - x̂‖² + λ‖a‖₁`，L1 正则化强制稀疏 +- **Gated SAE**：引入门控机制提高选择性 +- **JumpReLU SAE**：使用跳跃 ReLU 激活 + +### [[absolute-gating|相对门控]] +神经元激活依赖于其他神经元（竞争选择）： +- **Top-K SAE**：仅保留 k 个最大激活，其余归零 +- **Matching Pursuit SAE**：迭代选择最有贡献的神经元 +- **SPaDE**：结构化稀疏分解 + +## 核心理念 + +SAE 的基础假设是[[linear-representation-hypothesis|线性表征假设]]：语义概念对应于激活空间中的方向并可线性组合。SAE 通过稀疏性强制将这些方向解耦，使单个神经元趋向[[polysemanticity|单义性]]。 + +## 参考 + +- [[polysemanticity|多义性/单义性]] +- [[mechanistic-interpretability|机制可解释性]] +- [[linear-representation-hypothesis|线性表征假设]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/specialize-then-unify-rl.md b/concepts/specialize-then-unify-rl.md new file mode 100644 index 0000000..7d750ef --- /dev/null +++ b/concepts/specialize-then-unify-rl.md @@ -0,0 +1,46 @@ +--- +title: "Specialize-then-Unify RL" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [reinforcement-learning, recommendation, training-strategy] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# Specialize-then-Unify RL + +> OneReason 提出的强化学习训练策略：先在单域内专项优化 thinking mode，再做跨域平衡和精炼。 + +## 动机 + +OneReason 发现一个反直觉现象： + +- **多域混合 RL**：thinking mode 仍然落后于 non-thinking mode +- **单域 RL**：thinking mode 一致超越 non-thinking mode + +这表明 thinking 优势对域混杂敏感——推理能力的跨域泛化需要先充分发育。 + +## 两阶段策略 + +### Phase 1: Specialize +在单个推荐域内进行 RL，充分释放 thinking mode 的优势。 + +- 每个域独立训练，不受其他域的数据分布干扰 +- thinking mode 获得充分的域内优化信号 + +### Phase 2: Unify +跨域平衡和精炼，两个可选方案： + +- **[[rejection-sampling-fine-tuning|Rejection Sampling Fine-tuning (RSFT)]]**：采样高质量 thinking 轨迹进行微调 +- **[[multi-teacher-on-policy-distillation|Multi-Teacher On-Policy Distillation (MODPO)]]**：多教师在线策略蒸馏 + +## 核心洞察 + +**先专后统**：推理能力的跨域泛化需要域内先充分发育作为前提。这与 LLM 中「先广泛预训练再专项微调」的模式形成有趣对照——推荐推理走的是「先专项再统一」的逆向路径。 + +## 参考 + +- [[onereason|OneReason]] +- [[rejection-sampling-fine-tuning|Rejection Sampling FT]] +- [[multi-teacher-on-policy-distillation|Multi-Teacher On-Policy Distillation]] +- [[recommendation-reasoning|推荐推理]] diff --git a/concepts/spectral-mdp-decomposition.md b/concepts/spectral-mdp-decomposition.md new file mode 100644 index 0000000..a5d8a19 --- /dev/null +++ b/concepts/spectral-mdp-decomposition.md @@ -0,0 +1,48 @@ +--- +title: "谱 MDP 分解 (Spectral MDP Decomposition)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, theory, representation-learning, mdp] +sources: [raw/papers/naveen-repmt-sac-2026.md] +confidence: high +--- + +# 谱 MDP 分解 (Spectral MDP Decomposition) + +谱 MDP 分解将 MDP 的奖励函数和 Q 函数表示为**特征映射 φ 的线性组合**。[[repmt-sac|RepMT-SAC]] 将其推广到多任务设置——φ 任务不变，权重 w 任务特定。 + +## 定义 + +MDP 允许谱分解，若存在： + +``` +r(s,a,τ) = ⟨φ(s,a), θ(τ)⟩ （奖励分解） +Q^π(s,a;τ) = ⟨φ(s,a), w^π(τ)⟩ （Q 函数分解） +``` + +## 关键推广 + +传统谱分解（如 CTRL）假设 w 是固定向量。RepMT-SAC 将 w(τ) 推广为**任务的显式函数**： + +| 维度 | 单任务谱分解 | 多任务推广 | +|------|------------|----------| +| φ(s,a) | 任务特定 | 任务不变 | +| w | 固定向量 | w(τ) 显式依赖任务 | +| 泛化 | 无 | 零样本 + 少样本 | + +## 学习方式 + +使用**谱条件密度估计**近似学习 φ 和 µ(s')： + +``` +min_{φ,µ} -E[ log (exp⟨φ(s,a),µ(s')⟩ / Σ exp⟨φ(s,a),µ(s'')⟩) ] +``` + +类似对比学习的 softmax 交叉熵，使 φ 和 µ 的内积近似转移密度 P(s'|s,a)。 + +## 参考 + +- [[rep-mt-sac|RepMT-SAC]] +- [[task-invariant-representation|任务不变表征]] +- [[multitask-rl|多任务 RL]] diff --git a/concepts/split-steering.md b/concepts/split-steering.md new file mode 100644 index 0000000..810b0be --- /dev/null +++ b/concepts/split-steering.md @@ -0,0 +1,61 @@ +--- +title: "SPLIT Steering" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, optimization, controllability] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# SPLIT Steering（偏好-效用联合干预） + +## 定义 + +SPLIT（**S**teering with **P**reference–Uti**L**ity **I**nterven**T**ion）是 Xu et al. (2026) 提出的训练目标，显式优化偏好同时保留效用——直接针对 preference–utility 折衷问题设计。 + +## 目标函数 + +### 效用损失（保持通用能力） + +$$L_{util} = \lambda_p L_p + \lambda_n L_n$$ + +同时在正负样本上训练，确保模型保持连贯生成能力。 + +### 偏好损失（最大化控制效果） + +$$L_{pref} = \gamma \cdot \sigma(\theta - (L_n - L_p))$$ + +Hinge-style margin loss：当 $L_n - L_p$（即偏好 log-odds）超过阈值 $\theta$ 时损失为 0，否则推动 gap 增大。 + +- $\sigma(\cdot)$ 是 ReLU +- $\theta$ 是 margin 阈值 +- $\gamma$ 平衡偏好提升与效用保留 + +### 联合目标 + +$$L = L_{util} + L_{pref}$$ + +## 实验结果 + +在三种干预形式（Local Weight、LoRA、Vector）上，SPLIT 在 Psychopathy、PowerSeeking 和 AxBench 任务上**均优于** SFT 和 RePS 基线： + +| 模型 | 方法 | Psychopathy Acc(%) | PowerSeeking Concept(0-4) | +|------|------|-------------------|--------------------------| +| Gemma-2-9B | SPLIT (Vector) | 99.00 | 3.62 | +| Gemma-2-9B | SFT (Vector) | 97.00 | 3.30 | +| Qwen-2.5-7B | SPLIT (Local Weight) | 98.00 | 3.66 | + +## 设计原理 + +SPLIT 的核心创新是将 preference 和 utility 作为**可分离的优化目标**： + +- $L_{util}$ 确保模型不离流形太远（preserve utility） +- $L_{pref}$ 在流形约束内最大化偏好方向对齐（projection gain） + +## 相关概念 + +- [[preference-utility-analysis]] — SPLIT 的理论基础 +- [[activation-manifold]] — 效用保留的几何解释 +- [[validity-decay]] — SPLIT 试图延迟的退化 +- [[preference-log-odds]] — $L_n - L_p$ 作为优化目标 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/state-dependent-feasible-action-sets.md b/concepts/state-dependent-feasible-action-sets.md new file mode 100644 index 0000000..6e44854 --- /dev/null +++ b/concepts/state-dependent-feasible-action-sets.md @@ -0,0 +1,45 @@ +--- +title: "状态依赖可行动作集 (State-Dependent Feasible Action Sets)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mdp, operations-research, constraints] +sources: [raw/papers/chen-bellman-taylor-score-2026.md] +confidence: high +--- + +# 状态依赖可行动作集 + +这是运筹学 MDP 与标准 DRL 接口之间的**核心不兼容点**——可行动作不是固定的有限目录或简单的欧氏空间，而是由约束隐式定义并且依赖于当前状态。 + +## 形式化 + +``` +A(s) = {a ∈ Ā : g_i(s,a) ≤ 0, h_j(s,a) = 0} +``` + +其中 `Ā` 是混合整数动作域，约束函数编码容量限制、平衡关系和兼容性条件。 + +## 为什么标准 DRL 不适用 + +| DRL 类别 | 假设 | 不匹配的原因 | +|---------|------|------------| +| Value-based (DQN) | 固定有限动作目录 | 无法枚举，A(s) 随 s 变化 | +| Policy-based (PPO) | 固定欧氏空间 | A(s) 是隐含约束的非凸集 | +| Action masking | 有限超集可枚举 | 超集增长过快，枚举不可行 | + +## 典型场景 + +- **排队网络**：服务分配受服务器可用性和队列长度约束 +- **库存管理**：补货决策受容量和预算约束 +- **资源分配**：离散资源在多需求间的耦合分配 + +## 解决思路 + +[[bellman-taylor-score-decoding|BTSD]] 的解法不是修改 DRL 来适应 A(s)，而是**将学习接口标准化**：策略学习得分向量 z ∈ R^d，[[action-decoder|解码器]] 在 A(s) 上求解优化问题找到最优可行动作。 + +## 参考 + +- [[bellman-taylor-score-decoding|BTSD]] +- [[action-decoder|动作解码器]] +- [[latent-score-mdp|潜在得分 MDP]] diff --git a/concepts/steering-dynamics.md b/concepts/steering-dynamics.md new file mode 100644 index 0000000..96be9e6 --- /dev/null +++ b/concepts/steering-dynamics.md @@ -0,0 +1,47 @@ +--- +title: "Steering Dynamics" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, llm-dynamics, controllability] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Steering Dynamics（导向动态） + +## 定义 + +导向动态描述 LLM 控制干预下，preference 和 utility 如何随干预乘子 $m$ 变化。Xu et al. (2026) 发现所有干预形式呈现统一的**三阶段模式**。 + +## 三阶段偏好动态 + +当 PrefOdds 相对于 $m$ 绘图时： +1. **线性区**（|m| 小）：Preference log-odds 随 $m$ 近似线性增长——与 Bigelow et al. (2025) 的发现一致 +2. **过渡区**：增长趋势明显变化，线性关系破裂 +3. **收敛区**（|m| 大）：曲线平坦化、趋于稳定——$D(m)$ 衰减主导 + +## 效用动态 + +- 效用 log-odds 在 $m \approx 0$ 附近达到**峰值** +- 随 |m| 增大单调下降 +- 下降速率在正负方向可能不对称（取决于流形交点 $m_\pm$） + +## 统一性 + +所有三种干预形式（Local Weight、LoRA、Vector）在不同模型（Gemma-2-9B、Qwen-2.5-7B）和任务上呈现**高度相似的整体曲线形状**——这是统一动态权重框架有效性的强证据。 + +## 三阶段的机制解释（来自激活流形视角） + +| 阶段 | 激活流形解释 | +|------|-----------| +| 线性区 | 激活仍在流形邻域内，$D(m) \approx 1$，偏好仅由投影 $\alpha_p m$ 决定 | +| 过渡区 | 激活开始显著偏离流形，$D(m)$ 下降明显 | +| 收敛区 | $D(m)$ 衰减至很低，即使继续增大 $m$ 也无法再推高偏好 | + +## 相关概念 + +- [[activation-manifold]] — 驱动动态的几何机制 +- [[validity-decay]] — $D(m)$ 的形式化 +- [[preference-utility-analysis]] — 动态的度量框架 +- [[intervention-multiplier]] — 控制变量 $m$ +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/steering-vector.md b/concepts/steering-vector.md new file mode 100644 index 0000000..49b9a80 --- /dev/null +++ b/concepts/steering-vector.md @@ -0,0 +1,34 @@ +--- +title: "Steering Vector" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, interpretability] +sources: [raw/papers/xu-why-steering-works-2026.md] +confidence: medium +--- + +# Steering Vector（导向向量） + +> 占位符页面 — 待扩展 + +## 概述 + +Steering Vector 是从模型激活中提取的方向向量，用于在推理时通过加法干预 ([[activation-steering]]) 控制模型行为。 + +## 提取方法 + +- **DiffMean**（Marks & Tegmark, 2023）：取正负概念激活差值的均值 +- **SFT-based**：通过监督训练学习最优方向 +- **RePS**：基于偏好信号的训练 + +## 在统一框架中 + +导向向量等价于偏置更新 $\Delta b$：$h_{i+1} = W h_i + (b + m \Delta b)$ + +## 相关概念 + +- [[activation-steering]] +- [[linear-representation-hypothesis]] +- [[dynamic-weight-updates]] +- [[xu-why-steering-works]] diff --git a/concepts/stem-sparse-attention.md b/concepts/stem-sparse-attention.md new file mode 100644 index 0000000..3fa76a8 --- /dev/null +++ b/concepts/stem-sparse-attention.md @@ -0,0 +1,49 @@ +--- +title: "Stem Sparse Attention" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [sparse-attention, causal, training-free, pre-filling] +sources: [[niu-stem-causal-sparse-attention]] +--- + +# Stem Sparse Attention + +**Stem** 是 Niu et al. (2026) 提出的 training-free 稀疏注意力框架，从 [[causal-information-flow|因果信息流]] 的角度重新思考稀疏化策略。名称 Stem（茎）隐喻早期 token 作为信息流的结构性"主干"。 + +## 核心思想 + +> In causal attention, V₁ participates in every output; V_N only in the last. Uniform sparsity ignores this fundamental asymmetry. + +Stem 将因果注意力中的 token 分为两类： +- **茎 Token（Stem Tokens）**：初始位置的 token，参与所有后续 token 的聚合 → 需要更多预算保护 +- **叶 Token（Leaf Tokens）**：尾部位置的 token，仅影响局部 → 可以激进稀疏化 + +## 双组件架构 + +``` +Stem +├── TPD (Token Position-Decay) +│ └── 位置依赖的 top-k：前面多，后面少 +└── OAM (Output-Aware Metric) + └── 基于输出幅度选 token（不止看注意力分数） +``` + +## 与现有方法的根本差异 + +| 维度 | 传统稀疏方法 | Stem | +|------|------------|------| +| 预算分配 | 统一 top-k（所有位置相同） | 位置衰减（前多后少） | +| 选择标准 | 仅注意力分数 | 注意力分数 + Value 信息（OAM） | +| 信息流意识 | 无（逐层独立决策） | 有（保护递归依赖链） | +| 训练需求 | 部分需要微调 | Training-free，即插即用 | + +## 性能 + +在 H20 GPU 上，Stem 在 128K 上下文中将 attention kernel 时间从 dense 的 401ms 压缩到 90ms（约 4.5× 加速），同时保持 lossless 精度。还可以作为插件叠加到 [[native-sparse-attention|NSA]] 等训练型稀疏模型上进一步压缩。 + +## 技术栈 + +- 底层实现：[[block-sparse-attention|Block Sparse Attention]] 内核（Triton） +- 目标阶段：pre-filling（首次 token 生成前的批量编码） +- 适用模型：Llama 系列、Qwen 系列、DeepSeek-V3.2、MiniCPM-4.1 diff --git a/concepts/stochastic-differential-equation.md b/concepts/stochastic-differential-equation.md new file mode 100644 index 0000000..62e7b5c --- /dev/null +++ b/concepts/stochastic-differential-equation.md @@ -0,0 +1,55 @@ +--- +title: "随机微分方程 (Stochastic Differential Equation)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, stochastic-processes, theory, probability] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 随机微分方程 (Stochastic Differential Equation) + +SDE 是描述**受随机噪声驱动的连续时间动态系统**的数学框架，是 [[ticks-to-flows|Tiwari et al. (2026)]] 论文的核心数学工具。 + +## 标准形式 + +``` +dX_t = b(X_t) dt + σ(X_t) dW_t +``` + +- `b(X_t) dt`：**漂移项**（drift），确定性的变化方向 +- `σ(X_t) dW_t`：**扩散项**（diffusion），随机波动 +- `W_t`：[[wiener-process|Wiener 过程]]（Brownian motion） + +## Itô 积分 + +SDE 的解通过 [[ito-calculus|Itô 积分]] 定义： + +``` +X_t = X_0 + ∫_0^t b(X_l) dl + ∫_0^t σ(X_l) dW_l +``` + +在适当的条件（Lipschitz 连续 + 线性增长）下，解在概率意义下存在且唯一。 + +## 在强化学习中的应用 + +在 [[continuous-time-rl|连续时间 RL]] 中，SDE 用于建模： + +1. **环境转移**：`ds_t = (g(s_t) + h(s_t)a_t)dt + σ(s_t)dW_t` +2. **探索动力学**：同时包含策略随机性和环境随机性 +3. **梯度时间动态**：描述参数更新如何改变状态分布 + +## 关键性质 + +- **鞅性质**：扩散项形成一个[[martingale-clt|鞅]]，可用于 CLT 分析 +- **Markov 性**：未来仅依赖当前状态 +- **无穷小生成元**（infinitesimal generator）L^π 刻画函数沿轨道的瞬时变化 + +## 参考 + +- [[wiener-process|维纳过程]] +- [[ito-calculus|Itô 微积分]] +- [[continuous-time-rl|连续时间 RL]] +- [[exploratory-dynamics|探索动力学]] +- [[ticks-to-flows|Ticks to Flows]] diff --git a/concepts/strategy-gene.md b/concepts/strategy-gene.md new file mode 100644 index 0000000..81e31ca --- /dev/null +++ b/concepts/strategy-gene.md @@ -0,0 +1,69 @@ +--- +title: "策略基因 (Strategy Gene)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [agent, experience-reuse, test-time-control, representation] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# 策略基因 (Strategy Gene) + +由 Wang et al. (2026) 在 [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] 中提出：一种**紧凑的、控制导向的经验表示**，从先前的问题解决经验中蒸馏而来。 + +## 定义 + +策略基因是一种控制导向的可复用经验表示，其目标不是文档完整性，而是**紧凑性、结构清晰性、行为导向性和失败感知性**。 + +形式定义：给定技能包 s 或轨迹集 H，基因通过蒸馏映射获得： +``` +g = psi(s) 或 g = psi(H), g in G +``` + +基因结构：`g = (m, u, pi, alpha, c, v)` +- **m**: 任务匹配信号（关键词/触发线索） +- **u**: 紧凑摘要（一句话意图描述） +- **pi**: 策略步骤（含 AVOID 项） +- **alpha**: 失败感知的 AVOID 线索 +- **c**: 可选执行约束 +- **v**: 可选验证钩子 + +## 操作化形式 + +``` + +Domain keywords: uv-vis, peak detection, FWHM, unit conversion +Summary: Detect peaks and compute wavelength-domain peak properties correctly +Strategy: +1. Detect peaks with prominence-based criteria +2. Convert min_distance into sample-index units before peak detection +3. AVOID: Report FWHM only after converting peak_widths outputs back to wavelength units + +``` + +典型规模约 230 tokens。 + +## 与过程技能的区别 + +| 维度 | 策略基因 (Gene) | 过程技能 (Skill) | +|------|----------------|-----------------| +| 目标 | 控制导向 | 文档导向 | +| 规模 | ~230 tokens | ~2,500 tokens | +| 组织逻辑 | 控制逻辑 | 文档逻辑 | +| 优先级 | 信号密度、适用范围、失败显著性 | 可读性、完整性 | + +策略基因**不是技能的缩短版**，而是对可复用经验的**不同抽象**。 + +## 关键发现 + +- Gene 整体 +3.0pp vs 基线，Skill -1.1pp +- Gene 对内容扰动敏感（错误算法→-5.2pp），但对结构扰动鲁棒（逆序仍保持 +2.8pp） +- 重新添加文档材料（API notes, examples）通常削弱而非增强 Gene +- 单一靶向 Gene 优于多 Gene 组合 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 提出论文 +- [[gene-evolution-protocol|GEP 协议]] — Gene 的协议化层 +- [[procedural-skill|过程技能]] — 对比对象 +- [[experience-distillation|经验蒸馏]] — Gene 的提取过程 diff --git a/concepts/structured-output.md b/concepts/structured-output.md new file mode 100644 index 0000000..2a0491d --- /dev/null +++ b/concepts/structured-output.md @@ -0,0 +1,46 @@ +--- +title: "结构化输出 (Structured Output)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [llm, structured-output, pydantic, json-schema] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# 结构化输出 (Structured Output) + +> 让 LLM 生成符合预定义 schema 的 JSON/对象，而非自由格式文本。是从"自然语言回复"到"可编程 API"的关键桥梁。 + +## 核心挑战 + +LLM 的输出是概率性的——同样的 prompt 跑 100 次，结构会**漂移**（字段名变化、多了字段、类型错误、None 值）。 + +## 解决方案层次 + +| 方案 | 适用场景 | 代表工具 | +|------|---------|---------| +| 单次校验 | 简单结构化输出 | Instructor, Pydantic `model_validate` | +| 可观测校验 | 需要监控漂移趋势 | [[logfire|Logfire]] + trace | +| 类型约束 Agent | 多步推理 + tool 调用 | [[pydantic-ai|Pydantic AI]] | + +## 从"事后校验"到"事前约束" + +传统：LLM 输出 → model_validate → 错了 → 重试 + +[[pydantic-ai|Pydantic AI]]：Agent 定义时类型已写入 tool schema → LLM 按 schema 输出 → 自动校验 → 出错框架层重试 + +## 三配置升级（零成本） + +```python +model_config = { + "strict": True, # 空字符串不会变 0 + "extra": "forbid", # LLM 多塞字段立刻报 + "frozen": True, # 模块间传递防篡改 +} +``` + +## 参考 + +- [[pydantic-ai|Pydantic AI]] +- [[type-safety-in-agents|Agent 类型安全]] +- [[drift-detection|漂移检测]] diff --git a/concepts/sufficiency-check.md b/concepts/sufficiency-check.md new file mode 100644 index 0000000..a6a5d96 --- /dev/null +++ b/concepts/sufficiency-check.md @@ -0,0 +1,44 @@ +--- +title: "Sufficiency Check — Explicit Hallucination Gate in Literature QA" +type: concept +created: 2026-06-04 +tags: [hallucination-mitigation, llm-reasoning, information-retrieval, quality-control] +sources: ["ma-intragent-2026"] +--- + +# Sufficiency Check（充分性检查） + +**定义**：[[intragent|IntrAgent]] [[iterative-reading|迭代阅读]]阶段的核心机制——LLM 在每个阅读步骤后评估已积累的信息是否足以回答问题，以此作为显式的[[hallucination-mitigation|幻觉抑制]]闸门。 + +## 运作方式 + +每读完一个章节并提取细节 Dᵢ 后： +1. LLM 审查所有已积累细节 {D₁, ..., Dᵢ} +2. 评估这些细节是否足以回答查询 Q +3. 输出"NO"→ 继续读下一节；"YES"→ 终止并合成答案 +4. Prompt 包含明确指令：避免推测和幻觉 + +## 三个核心作用 + +### 1. 防止信息不足时编造 +传统 RAG 在检索到的内容不完整时，LLM 倾向于"填补空白"→ 产生幻觉。充分性检查在证据不足时强制继续阅读。 + +### 2. 防止过度阅读 +当信息已经充分时及时终止，避免浪费计算资源阅读无关章节。三种置信度模式（保守/平衡/激进）提供可控权衡。 + +### 3. 跨节证据累积 +分散在多个非相邻章节的证据需要被累积——充分性检查阻止了"读了一个片段就下结论"的过早终止。 + +## 设计关键 + +Prompt 中明确包含以下指令： +- 只基于文献中已提取的具体细节做出判断 +- 不要用自己的知识补充或"推测"缺失的信息 +- 当信息确实不存在时，诚实输出而非编造 + +## 相关概念 + +- [[iterative-reading]] — 包含充分性检查的动作循环 +- [[hallucination-mitigation]] — 更广泛的幻觉抑制方法 +- [[content-grounded-retrieval]] — 内容锚定的检索范式 +- [[cross-section-synthesis]] — 跨节综合 diff --git a/concepts/superposition.md b/concepts/superposition.md new file mode 100644 index 0000000..415fe0e --- /dev/null +++ b/concepts/superposition.md @@ -0,0 +1,48 @@ +--- +title: "叠加 (Superposition)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [interpretability, representation-learning, theory] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 叠加 (Superposition) + +叠加（superposition）是神经网络中**可表示概念数 > 可用神经元数**时出现的压缩表征现象——多个概念被编码在同一方向的"折叠空间"中。 + +## 核心矛盾 + +模型需要表示 N 个概念，但只有 d 个神经元（d < N）。线性代数不允许 d 维空间中有 N 个正交方向。模型的"解决方案"是将多个概念叠加到同一方向。 + +## 为什么发生 + +- **容量瓶颈**：高维语义空间必须嵌入低维激活空间 +- **效率驱动**：共享方向比独立方向更省参数 +- **稀疏利用**：利用概念使用的稀疏性（不是所有概念同时出现） + +## 后果 + +- **[[polysemanticity|多义性]]**：单神经元无法被解释为"X 概念检测器" +- **解释困难**：激活模式的线性组合不是直观的语义组合 +- **需要 SAE**：[[sparse-autoencoder|SAE]] 通过过完备字典 "解叠" + +## 与线性表征假设的关系 + +[[linear-representation-hypothesis|线性表征假设]] 声称概念 = 激活空间中的方向。叠加表明这最多是**近似**——真正的表征是多个方向的叠加，SAE 的目标是恢复这些被压缩的方向。 + +## 几何视角 + +[[geometric-sae-concepts|Zhang et al. (2026)]] 从集合论角度重新审视叠加： + +- 概念不再只是向量方向，而是任意可测集合 +- 叠加 = 集合之间在低维几何空间中的不可分离性 +- 凸包不交是可分离的充要条件 + +## 参考 + +- [[polysemanticity|多义性]] +- [[sparse-autoencoder|SAE]] +- [[linear-representation-hypothesis|线性表征假设]] +- [[geometric-sae-concepts|几何框架论文]] diff --git a/concepts/supervised-fine-tuning.md b/concepts/supervised-fine-tuning.md new file mode 100644 index 0000000..96576ba --- /dev/null +++ b/concepts/supervised-fine-tuning.md @@ -0,0 +1,27 @@ +--- +title: "监督微调 (Supervised Fine-Tuning, SFT)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [fine-tuning, LLM, training] +status: placeholder +--- + +# 监督微调 (Supervised Fine-Tuning, SFT) + +> ⚠️ 占位符页面 — 待完善 + +监督微调（SFT）是在预训练 LLM 上使用标注数据（输入-输出对）进行进一步训练的标准范式。广泛应用于指令微调、领域适配等场景。 + +**关键争议**：SFT 对小型 DNN 广泛有效，但在 LLM 上效果不一致——有时提升指令遵循能力，有时导致过拟合和泛化能力下降。 + +**核心论文**： +- [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] — 从交互视角解释 SFT 效果不一致的原因 + +## 相关概念 + +- [[sft-denoising-stage|SFT 去噪阶段]] +- [[sft-early-stopping|SFT 早停策略]] +- [[lora]] +- [[rlhf]] +- [[dpo]] diff --git a/concepts/swe-bench.md b/concepts/swe-bench.md index d5ed816..a14bf39 100644 --- a/concepts/swe-bench.md +++ b/concepts/swe-bench.md @@ -1,23 +1,40 @@ --- title: "SWE-bench" -created: 2026-05-26 +created: 2026-06-15 +updated: 2026-06-15 type: concept -tags: ["benchmark", "coding-agent", "software-engineering"] -sources: ["mini-agent-harness"] +tags: [benchmark, evaluation, coding-agent] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] --- # SWE-bench -> 软件工程任务的 Agent 评测基准：真实 GitHub issue → patch 生成 → 环境测试。 +## 定义 -## 评测流程 +SWE-bench 是仓库级代码 agent 评测的事实标准。它基于真实的 GitHub issue，要求系统提交一个可 apply 到仓库的 diff patch，由仓库级测试判定是否解决。核心评分合约：给定 `problem_statement`、`repo`、`base_commit`，系统提交 `model_patch` → evaluator apply patch → 运行测试 → Resolved/Not Resolved。 -1. 给定一个真实 issue -2. Agent 生成 patch -3. 将 patch 放入环境运行测试 -4. Harness 负责准备环境、应用 patch、执行测试、汇总结果 +## 关键组成部分 -## 相关页面 +- **SWE-bench:** 原始 Python 仓库 issue-resolution benchmark +- **SWE-bench-Multilingual:** 扩展到 7 种非 Python 语言（Java, Go, Rust, JS/TS, C/C++, Ruby, PHP），贡献 300 个实例 +- **SWE-bench-Verified-Mini:** 人类验证的 Python 子集，贡献 50 个实例 -- [[terminal-bench]] — 终端环境评测 -- [[agent-harness-mini]] — 最小化评测框架 +## Claw-SWE-Bench 的定位 + +Claw-SWE-Bench 将 SWE-bench 的评测范式从"单系统报告"升级为"受控实验"： +- 保持 SWE-bench 的 patch-based 评测合约 +- 将 agent harness 作为受控实验变量 +- 添加代价会计作为第一等评测轴 +- 提供标准化的 adapter 协议 + +## 相关工作 + +Claw-SWE-Bench 在三个方面区别于之前的 SWE-bench 衍生工作： +- HAL：倡导整体 accuracy-cost-latency 评测，但仅发布一个 harness +- SWE-Bench Pro：统一 scaffolding 但用于比较模型而非 harness +- SWE-Effi：注意到 scaffold-model 纠缠但未作为受控测量 + +## 参考 +- [[claw-swe-bench|Claw-SWE-Bench 论文]] +- [[patch-based-evaluation|Patch-Based Evaluation]] +- [[cost-aware-benchmarking|代价感知基准评测]] diff --git a/concepts/synthetic-data.md b/concepts/synthetic-data.md new file mode 100644 index 0000000..b3b2d54 --- /dev/null +++ b/concepts/synthetic-data.md @@ -0,0 +1,24 @@ +--- +title: "合成数据 (Synthetic Data)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [synthetic-data, training, data-generation] +status: placeholder +--- + +# 合成数据 (Synthetic Data) + +> ⚠️ 占位符页面 — 待完善 + +合成数据是通过算法或模型生成的人工数据，用于增强或替代真实训练数据。在 LLM 训练中广泛用于： + +- **问题生成**：如 [[mathchatsync-reasoning|MathChatSync]] 的多轮推理数据合成 +- **指令数据**：GPT-4 等强模型生成指令-响应对 +- **数据扩充**：弥补真实数据不足的领域 + +## 相关概念 + +- [[mathchatsync-reasoning|MathChatSync 推理]] +- [[synthetic-data-qa-generation|合成数据 QA 生成]] +- [[data-quality-over-scale|数据质量重于规模]] diff --git a/concepts/system-stability.md b/concepts/system-stability.md new file mode 100644 index 0000000..58dab81 --- /dev/null +++ b/concepts/system-stability.md @@ -0,0 +1,33 @@ +--- +title: "System Stability" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-safety, robustness, perturbation, adversarial] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# System Stability (L3) + +**系统稳定性**是 [[agent-harness-safety|Agent 骨架安全]]三层审计框架的第三层（L3），评估 L1 [[boundary-compliance]] 和 L2 [[execution-fidelity]] 在受控压力源下是否保持不变。 + +## 三类扰动 + +| 扰动类型 | 描述 | 注入方式 | +|---------|------|---------| +| **间接注入** (Indirect Injection) | 通过工具返回内容嵌入隐藏指令 | 数据库记录、文件内容、API 响应 | +| **模糊目标** (Ambiguous Goals) | 用户指令不完整或存在歧义 | 缺失参数、多义表述 | +| **运行时/工具错误** | 工具调用失败或返回异常 | 超时、权限拒绝、格式异常 | + +## 评估方式 + +对每个任务 i，生成扰动变体集 P_i。每位扰动变体 p 由评估器按 rubric 评分 q_{i,p} ∈ [0,1]。最终 PBi 取所有变体的平均稳定性分。 + +## 核心发现 + +1. **间接注入造成最大性能下降**——Agent 极易受任务证据或工具返回内容中的隐藏指令影响 +2. **正常任务完成性能与扰动下性能明显分离**——高 TCR 不意味着高稳定性 +3. **某些系统对后端异常更稳定**，但扰动性能仍然与正常性能有明显差距 +4. 骨架设计对稳定性有决定性影响：[[harnessaudit|HarnessAudit]] 原生骨架在稳定性上优于通用框架 + +L3 揭示了 [[agent-safety-evaluation|Agent 安全评测]]的一个根本缺陷：**只在理想条件下评测安全无意义**——真正的安全必须在对抗和非理想条件下评估。 diff --git a/concepts/tapestry-federated.md b/concepts/tapestry-federated.md new file mode 100644 index 0000000..b4dc17d --- /dev/null +++ b/concepts/tapestry-federated.md @@ -0,0 +1,52 @@ +--- +title: "Tapestry 联邦训练" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [federated-learning, open-source, AI-governance, LeCun, data-sovereignty] +sources: [raw/articles/lecun-llm-boundary-future-2026.md, https://thealliance.ai/projects/tapestry] +--- + +# Tapestry 联邦训练 + +LeCun 对[[sovereign-ai|主权AI]]问题的工程回应——一种允许全球贡献者共同训练模型、同时**不共享原始数据**的联邦学习架构。 + +## 核心理念 + +> "贡献者共享的是参数向量，而不是数据本身。" + +各参与方的数据中心从全局共识模型获取参数向量，在本地数据上训练后更新参数，通过中央服务器交换参数向量。每次更新时，本地模型既要拟合本地数据，也要保持与全局共识向量的接近，最终收敛到一个"**好像在世界所有数据上训练出来**"的共识模型。 + +## 与传统联邦学习的区别 + +| 维度 | 传统联邦学习 (Google 2016) | Tapestry | +|------|--------------------------|----------| +| 层级 | 边缘设备（手机） | 国家/机构层级 | +| 保护对象 | 个人隐私 | **数据主权** | +| 数据流 | 数据不出设备 | 数据不出机构/国家 | +| 目标 | 隐私保护 | 文化/语言多样性保护 | + +## 数据瓶颈背景下的战略价值 + +公开文本数据已近枯竭。Tapestry 将**目前未被纳入任何模型的私域数据**纳入训练： +- 印度地方语言文本 +- 日本学术文献 +- 欧洲政务文档 +- 东南亚文化内容 + +这些数据在集中式训练范式下不可用（数据持有方不愿交出），但 Tapestry 让它们参与训练而不离开本地。**开源社区能访问的数据池，是闭源方用钱买不到的那部分。** + +## 生态意义 + +LeCun 用 **Sun Microsystems 类比**：1990年代 Solaris/HP-UX 占统治地位，最终被 Linux 全部淘汰。今天 OpenAI/Anthropic 就是当年的 Sun/HP——当基础模型成为基础设施层时，可定制性、可审计性和低成本扩散能力让开源有结构性优势。 + +Tapestry 解决了开源生态的关键缺失：**数据接入机制**。这决定了开源能否在数据规模和质量上反超闭源。 + +## 当前状态 + +概念验证阶段。通信效率、激励机制和跨机构协同成本仍有待验证。 + +## 来源 + +- [[lecun-llm-boundary-future|原始文章]] +- [[sovereign-ai|主权AI]] diff --git a/concepts/task-conditioned-policy.md b/concepts/task-conditioned-policy.md new file mode 100644 index 0000000..1b7e8a3 --- /dev/null +++ b/concepts/task-conditioned-policy.md @@ -0,0 +1,50 @@ +--- +title: "任务条件策略 (Task-Conditioned Policy)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, multi-task, policy] +sources: [raw/papers/naveen-repmt-sac-2026.md] +confidence: high +--- + +# 任务条件策略 (Task-Conditioned Policy) + +任务条件策略是[[multitask-rl|多任务 RL]] 的基本抽象——策略 π(a|s,τ) 不仅依赖状态 s，也**显式条件于任务 τ**。 + +## 形式 + +``` +π : S × T → Δ(A) +``` + +通过扩增状态 `s̃ = (s, τ)`，使 MDP 变形为：`P̃((s',τ)|(s,τ),a) = P(s'|s,a)·δ(τ)`（τ 在整个 episode 中"冻结"）。 + +## 为什么需要 + +- 同一状态 s 在不同任务 τ 下需要**不同最优动作** +- 策略必须区分"四旋翼在 (x,y,z) 要去轨迹 A 还是轨迹 B" +- 不能仅靠状态分辨任务意图 + +## 在 RepMT-SAC 中 + +在[[rep-mt-sac|RepMT-SAC]]中，策略从线性 Q 函数导出（最大熵 SAC 框架）： + +``` +π(a|s,τ) ∝ exp( Q(s,a;τ) / α ) + = exp( ⟨φ(s,a), w(τ)⟩ / α ) +``` + +任务条件性由 w(τ) 注入——φ(s,a) 是任务不变的。 + +## 任务编码方式 + +在四旋翼实验中，τ 被编码为： +- **Legendre 多项式系数**：轨迹的全局参数化 +- **滑动参考窗口**：未来 N 个航点的局部几何信息 + +## 参考 + +- [[multitask-rl|多任务 RL]] +- [[task-invariant-representation|任务不变表征]] +- [[rep-mt-sac|RepMT-SAC]] diff --git a/concepts/task-distribution.md b/concepts/task-distribution.md new file mode 100644 index 0000000..cb98961 --- /dev/null +++ b/concepts/task-distribution.md @@ -0,0 +1,54 @@ +--- +title: "任务分布 (Task Distribution)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [multi-task, reinforcement-learning, generalization] +sources: [raw/papers/naveen-repmt-sac-2026.md] +confidence: high +--- + +# 任务分布 (Task Distribution) + +任务分布 µ ∈ Δ(T) 是[[multitask-rl|多任务 RL]] 中**任务空间的概率分布**——定义了 agent 在训练和测试中可能遇到的 MDP。 + +## 形式 + +任务 τ ~ µ 诱导一个 MDP： + +``` +M(τ) = (S, A, r_τ, P, ρ, γ) +``` + +- S, A, P, ρ, γ 任务不变（共享） +- r_τ 任务特定（变化） + +## 分布类型 + +在[[repmt-sac|RepMT-SAC]]中： + +- **源任务**（source）：训练时采样的任务（低阶 Legendre 多项式基） +- **分布内任务**（in-distribution, ID）：µ 支持内的新任务（基的凸组合） +- **分布外任务**（out-of-distribution, OOD）：µ 支持外的新任务（高阶多项式外推） + +## 泛化层次 + +| 任务类型 | 要求 | RepMT-SAC 性能 | +|---------|------|---------------| +| 源任务 | 标准训练 | 最优（共享 φ 受益） | +| ID | 零样本泛化 | 强（w 的线性结构允许插值） | +| OOD | 少样本适应 | 快（仅微调 w 和 π） | + +## 多任务目标 + +``` +J(π) = E_{τ~µ} E_{s₀~ρ} [V^π(s₀;τ)] +``` + +直接在任务分布上最大化期望回报——RepMT-SAC 通过共享 φ 使所有任务联合受益。 + +## 参考 + +- [[multitask-rl|多任务 RL]] +- [[task-conditioned-policy|任务条件策略]] +- [[rep-mt-sac|RepMT-SAC]] diff --git a/concepts/task-invariant-representation.md b/concepts/task-invariant-representation.md new file mode 100644 index 0000000..8332e96 --- /dev/null +++ b/concepts/task-invariant-representation.md @@ -0,0 +1,51 @@ +--- +title: "任务不变表征 (Task-Invariant Representation)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [representation-learning, multi-task, transfer-learning, reinforcement-learning] +sources: [raw/papers/naveen-repmt-sac-2026.md] +confidence: high +--- + +# 任务不变表征 (Task-Invariant Representation) + +任务不变表征是[[repmt-sac|RepMT-SAC]]的核心——捕获**所有任务共享的动力学结构**，与奖励函数无关。 + +## 形式 + +在[[spectral-mdp-decomposition|谱 MDP 分解]]中： + +``` +Q(s,a;τ) = ⟨φ(s,a), w(τ)⟩ +``` + +- `φ(s,a)`：任务不变 → 捕获 P(s'|s,a) 的结构 +- `w(τ)`：任务特定 → 编码 r(s,a,τ) 的信息 + +## 为什么可行 + +多任务 MDP 设置假设**所有任务共享动力学 P 和状态-动作空间**，仅在奖励函数上不同。例如四旋翼在所有轨迹上的物理动力学不变。 + +## 学习 + +使用对比式条件密度估计学习 φ 和辅助表征 µ(s')： + +``` +P(s'|s,a) ≈ exp⟨φ(s,a), µ(s')⟩ / Z +``` + +学到的 φ 允许任何任务的 Q 通过线性组合 w(τ)⊤ φ(s,a) 表达。 + +## 冻结的优势 + +下游适应时冻结 φ： +- 新任务仅需学习 w(τ_new)（低维参数） +- Q 学习退化为线性回归（极稳定） +- 少样本即可适应 + +## 参考 + +- [[spectral-mdp-decomposition|谱 MDP 分解]] +- [[task-conditioned-policy|任务条件策略]] +- [[rep-mt-sac|RepMT-SAC]] diff --git a/concepts/taylor-expansion-q-function.md b/concepts/taylor-expansion-q-function.md new file mode 100644 index 0000000..a0fe150 --- /dev/null +++ b/concepts/taylor-expansion-q-function.md @@ -0,0 +1,52 @@ +--- +title: "Q 函数 Taylor 展开 (Taylor Expansion of Q-Function)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, theory, mdp, taylor-expansion] +sources: [raw/papers/chen-bellman-taylor-score-2026.md] +confidence: high +--- + +# Q 函数 Taylor 展开 + +[[bellman-taylor-score-decoding|BTSD]] 框架通过一阶（或高阶）Taylor 展开最优 Q 函数来建立得分解码的理论基础。 + +## 一阶展开 + +在参考后动作点 `x_ref(s) = φ_s(a_ref(s))` 附近展开： + +``` +Q*(s,a) = ψ_s(a) + γ G*_s(φ_s(a)) + ≈ const + ψ_s(a) + γ⟨∇G*_s(x_ref), φ_s(a)⟩ +``` + +## 高阶推广 + +对于 K 阶展开，使用多指数记号 `m = (m1,...,md)`： + +``` +Q*(s,a) ≈ const + ψ_s(a) + Σ_{|m|=1}^{K} γ ∇^m G*_s(x_ref) · φ_s(a)^m / m! +``` + +高阶项 `φ_s(a)^m` 的**张量积**特征 `φ_s(a)^{⊗m}` 可被 [[action-decoder|解码器]] 用作更丰富的特征表示。 + +## 理论意义 + +- **结构近似误差**由 Taylor 余项控制：`ε_approx ∝ |∇^2 G*_s| · ‖φ_s(a) - x_ref‖^2` +- 当 G* 接近线性时（如在许多排队系统中），一阶近似几乎精确 +- 当 G* 有显著曲率时，需保留更高阶项 + +## 优化性能保证 + +``` +|J(π*) - J(π_BTSD)| ≤ ε_approx(G*) + ε_learn(DRL) +``` + +第一个项仅依赖 Q 函数的固有结构（Taylor 余项），第二个项依赖 DRL 算法的学习能力。 + +## 参考 + +- [[bellman-taylor-score-decoding|BTSD]] +- [[continuation-value-function|延续价值函数]] +- [[post-action-configuration|后动作配置]] diff --git a/concepts/teacher-forced-history.md b/concepts/teacher-forced-history.md new file mode 100644 index 0000000..12a971b --- /dev/null +++ b/concepts/teacher-forced-history.md @@ -0,0 +1,43 @@ +--- +title: "教师强制历史 (Teacher-Forced History)" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, video-generation, training-technique] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# 教师强制历史 (Teacher-Forced History) + +Flex4DHuman [[three-stage-curriculum-training|Stage 3]] 训练中使用的关键技术——在训练时将清洁（ground-truth）的历史帧 token 作为条件提供给模型，使其学会基于清洁历史进行预测。 + +## 为什么需要 + +标准扩散模型训练时，所有 token 同时去噪。但在 [[temporal-rollout|时间滚动展开]] 推理时，模型需要基于**之前已生成的帧**（而非同时去噪的帧）进行条件生成。 + +如果训练时从未见过"清洁历史 + 噪声目标"的模式，推理时就会出现**训练-推理分布偏移**。 + +## 实现 + +- 训练时，将前 O 帧的 ground-truth latent 填入 [[clean-conditioning-mask|清洁条件掩码]] 的清洁通道 +- 目标 token（剩余帧）使用噪声 latent，保持正常的 flow-matching 去噪 +- 配置多种 V×T 布局下的不同 n_history 模式（0 history, 1 history） + +## 效果 + +实验表明，教师强制历史训练使： +- T=4 和 T=16 两种 rollout 配置的 PSNR 几乎相同（24.79 vs 24.86 dB） +- 无需额外的 drift-mitigation 策略即可实现稳定长程展开 + +## 局限与未来方向 + +论文指出更长程生成可能需要额外的 drift-mitigation 策略，如： +- Self-forcing [Huang et al., 2026] +- Diffusion forcing [Chen et al., 2024] +- 其他长期一致性目标 + +## 参考 + +- [[flex4dhuman|Flex4DHuman]] — 应用该方法 +- [[temporal-rollout|时间滚动展开]] — 推理端使用清洁历史 +- [[clean-conditioning-mask|清洁条件掩码]] — 清洁历史 token 的载体 diff --git a/concepts/temporal-point-process.md b/concepts/temporal-point-process.md new file mode 100644 index 0000000..d7669de --- /dev/null +++ b/concepts/temporal-point-process.md @@ -0,0 +1,55 @@ +--- +title: "时间点过程 (Temporal Point Process)" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, stochastic-process, event-modeling] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# 时间点过程 (Temporal Point Process, TPP) + +时间点过程是用于建模在连续时间中发生的事件序列的随机过程模型。 + +## 定义 + +一个 TPP 描述时间窗口 `[0, T]` 内的事件序列 `T = (t_1, ..., t_N)`，其中 `t_n` 是第 n 个事件的时刻，`N(t)` 是到时刻 t 为止的事件计数。 + +## 两种等价参数化 + +### 条件密度函数 + +通过指定相邻事件间的时间间隔分布来定义： + +``` +f(t_1, ..., t_N) = ∏ f(t_n | H_{t_{n-1}}) +``` + +其中 `H_t` 表示到时刻 t 为止的事件历史。例如，更新过程（renewal process）假设时间间隔 i.i.d.；再进一步假设间隔服从指数分布则得到齐次泊松过程。 + +### 条件强度函数 + +定义在无穷小时间区间内事件发生的平均次数： + +``` +lambda*(t) dt = E[N([t, t+dt]) | H_{t-}] +``` + +强度函数提供了更直观的历史依赖性描述——因为它直接表达"过去如何影响未来事件的速率"。这是大多数 TPP 模型的核心参数化工具。 + +## 两种基本类型 + +- **Unmarked TPP**（无标记）：仅建模事件时间 +- **[[marked-temporal-point-process|Marked TPP]]**（有标记）：每个事件附带类型标记 `k_n`，序列为 `((t_1,k_1), ..., (t_N,k_N))` + +## 经典模型 + +- **[[poisson-process|泊松过程]]** — 历史独立，强度为常数或时变函数 +- **[[hawkes-process|Hawkes 过程]]** — 历史依赖（自激励），强度为 `mu + sum phi(t-t_n)` + +## 参考 + +- Daley & Vere-Jones (2007), "An Introduction to the Theory of Point Processes" +- [[advances-temporal-point-processes-2026|TPP 综述 (Zhou et al., 2026)]] +- [[neural-temporal-point-process|神经 TPP]] +- [[bayesian-nonparametric-tpp|贝叶斯非参数 TPP]] diff --git a/concepts/temporal-rollout.md b/concepts/temporal-rollout.md new file mode 100644 index 0000000..13c209c --- /dev/null +++ b/concepts/temporal-rollout.md @@ -0,0 +1,51 @@ +--- +title: "时间滚动展开 (Temporal Rollout)" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, video-generation, inference-technique] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# 时间滚动展开 (Temporal Rollout) + +Flex4DHuman 用于生成长于训练窗口的多视角视频的推理策略，通过分块+重叠的方式实现任意长度的持续生成。 + +## 机制 + +将完整生成序列切分为多个 T 帧的 chunk，逐块去噪，并在块间共享重叠帧作为历史条件： + +1. **Iteration 0**：使用参考视图 token 作为唯一清洁条件，生成第一个 T 帧 chunk（所有目标视图） +2. **Iteration 1+**：窗口前进 T-O 帧，前一 chunk 的**最后 O 帧预测**作为当前 chunk 的清洁历史 token +3. **循环**：重复直到覆盖目标总帧数 + +## 关键参数 + +- **T**：每块帧数（训练中见过的最大帧数：如 4 或 16） +- **O**：重叠帧数（通常 O=1） +- **n_history**：历史 token 数（= O × 视图数） + +## 实验发现 + +在 DNA-Rendering 测试中（42 帧窗口）： + +| 配置 | PSNR | 说明 | +|------|------|------| +| T=4, O=1 (14 次迭代) | 24.79 dB | 更多迭代，更小 chunk | +| T=16, O=1 (3 次迭代) | 24.86 dB | 更少迭代，更大 chunk | + +两种设置的 PSNR 几乎相同，说明： +- **教师强制历史足以支持稳定长程展开** +- 短 chunk 方案（T=4）提供**更内存友好的多视角密集生成**操作点 + +## 关键设计 + +- **清洁历史 token**：不使用模型自己的噪声预测作为历史，而是使用前一 chunk 完整去噪后的清洁帧——避免误差累积 +- **与训练一致**：[[teacher-forced-history|教师强制历史]]训练使模型习惯清洁历史条件 +- **视图同步**：所有视角同步推进，保持跨视角时序一致性 + +## 参考 + +- [[flex4dhuman|Flex4DHuman]] — 提出该机制的模型 +- [[teacher-forced-history|教师强制历史]] — 训练端的历史条件策略 +- [[clean-conditioning-mask|清洁条件掩码]] — 推理时复用为历史标记 diff --git a/concepts/test-time-control.md b/concepts/test-time-control.md new file mode 100644 index 0000000..5be0e86 --- /dev/null +++ b/concepts/test-time-control.md @@ -0,0 +1,49 @@ +--- +title: "测试时控制 (Test-Time Control)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [agent, inference, control, representation] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# 测试时控制 (Test-Time Control) + +Wang et al. (2026) 中将测试时控制定义为：**外部化经验表示在不修改模型参数的情况下，在推理时改变模型行为的能力**。 + +## 形式化 + +给定任务输入 x、可复用经验表示 r、固定参数 theta 的模型： + +``` +y ~ p_theta(y | x, r; gamma) +``` + +其中 gamma 是推理配置（温度、最大输出长度等）。表示 r 是控制相关的，当且仅当： + +``` +p_theta(y | x, r) != p_theta(y | x, empty) +``` + +对目标分布下非平凡子集的任务成立。 + +## 排除范围 + +- **不是参数更新** — theta 保持固定 +- **不是一次性提示技巧** — 从先前经验中抽象出来，用于复用 +- **不是对话回忆** — 目标是提供任务相关控制，而非维持对话连续性 + +## 核心问题 + +核心问题不仅是"经验如何被存储或检索"，更是"什么表示形式能让先前经验在受限推理预算下作为有效的测试时控制"。 + +## 与过程技能的关系 + +过程技能为人类理解而优化，而测试时控制需要**紧凑、行为导向、在受限 token 预算和注意力下有效的引导**。一种对人类理解有用的表示可能是低效的，甚至在模型上下文中产生误导。 + +## 参考 + +- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 提出论文 +- [[strategy-gene|策略基因]] — 为测试时控制设计 +- [[procedural-skill|过程技能]] — 不为测试时控制设计 +- [[experience-representation|经验表示]] — 更广的表示空间 diff --git a/concepts/thinking-supervision-transfer.md b/concepts/thinking-supervision-transfer.md new file mode 100644 index 0000000..0f30564 --- /dev/null +++ b/concepts/thinking-supervision-transfer.md @@ -0,0 +1,40 @@ +--- +title: "Thinking Supervision Transfer" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [recommendation, chain-of-thought, supervision-transfer] +sources: [raw/papers/onereason-team-onereason-2026.md] +--- + +# Thinking Supervision Transfer + +> CoT 监督数据对 non-thinking mode 的性能溢出效应——用 CoT 训练数据替换 unCoT 数据可提升直接解码性能。 + +## 观察 + +OneReason 实验发现：在相同训练 token 数下，用推荐 CoT 监督数据替换 unCoT 数据训练时，**non-thinking mode 的性能也得到提升**。 + +## 解释假设 + +本文审慎地将其视为**行为证据 (behavioral evidence)** 而非机制证明： + +- CoT 监督信号中的某些成分可能迁移到直接解码 +- 这种迁移可能来自**压缩**（CoT 迫使模型学习更好的中间表示，从而改善直接输出）、**推理**（CoT 中的推理模式被内化到前向传播中）、或**两者的交互** +- 目前证据无法区分这些机制 + +## 与 LLM 中类似现象的关联 + +这一发现与 LLM 中「reasoning model 的蒸馏提升 base model 表现」的现象一致——如用 o1 生成的 CoT 数据微调 GPT-4o 可提升直接回答质量。 + +## 实际意义 + +- 即使最终部署 non-thinking mode（低延迟），用 CoT 数据训练仍有收益 +- 这为推荐系统的训练数据设计提供了新的自由度 +- 但不意味着 CoT 是普遍必要的 + +## 参考 + +- [[onereason|OneReason]] +- [[recommendation-cot|推荐 CoT]] +- [[recommendation-reasoning|推荐推理]] diff --git a/concepts/three-stage-curriculum-training.md b/concepts/three-stage-curriculum-training.md new file mode 100644 index 0000000..36bad86 --- /dev/null +++ b/concepts/three-stage-curriculum-training.md @@ -0,0 +1,56 @@ +--- +title: "三阶段课程训练 (Three-Stage Curriculum Training)" +created: 2026-06-13 +updated: 2026-06-13 +type: concept +tags: [computer-vision, training, curriculum-learning, video-generation] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# 三阶段课程训练 + +Flex4DHuman 采用的渐进式训练策略，每个阶段初始化自前一阶段的检查点，逐步引入更复杂的生成条件。 + +## Stage 1: 位姿跟随 (Pose Following) + +- **设置**：1 个参考视图 + 1 个目标视图，T=1，分辨率 256^2 +- **目标**：让预训练 Wan 2.1 骨干适应新的 [[five-axis-positional-encoding|五轴位置编码]] +- **训练量**：30k 迭代 +- **关键**：最简单设置下的编码磨合 + +## Stage 2: 动态参考视图 + 视角数外推 + +### Stage 2.1 (256^2) +- **设置**：N_ref ∈ {1, ..., 15}，总视图 V=16，T=1 +- **增强**：随机丢弃背景（概率 p_bg），支持前景/全场景两种模式 +- **关键能力**：动态参考视图采样 → 任意 N_ref 下的多视角一致性 + +### Stage 2.2 (512^2) +- **设置**：与 Stage 2.1 相同，分辨率提升 +- **目标**：更高分辨率的细节质量 +- **训练量**：Stage 2.1 和 2.2 各 30k 迭代 + +## Stage 3: 时间滚动展开 + +- **设置**：动态 V×T 布局，512^2，[[teacher-forced-history|教师强制历史]] +- **多任务训练**：多种 V×T 配置共享 token 预算 + - Round A (32 帧预算): 32×1, 16×2, 8×4 + - Round B (64 帧预算): 8×8, 4×16, 2×32 +- **训练量**：15k 迭代 +- **关键能力**：单一检查点泛化到不同视角数和时间长度 + +## 训练细节 + +- 32× H100 GPU +- [[flow-matching|Flow Matching]] 目标函数（与 Wan 2.1 相同） +- Classifier-free guidance：以 0.1 概率将文本条件丢弃为零嵌入 + +## 设计理念 + +课程训练的核心思想是**轴分离**（axis-wise separation）：每个阶段引入一个新难度轴，避免同时学习多轴复杂性导致的训练不稳定。 + +## 参考 + +- [[flex4dhuman|Flex4DHuman]] — 使用该训练的模型 +- [[temporal-rollout|时间滚动展开]] — Stage 3 训练的推理应用 +- [[five-axis-positional-encoding|五轴位置编码]] — Stage 1 的适配目标 diff --git a/concepts/token-as-economic-primitive.md b/concepts/token-as-economic-primitive.md new file mode 100644 index 0000000..48f8bb2 --- /dev/null +++ b/concepts/token-as-economic-primitive.md @@ -0,0 +1,39 @@ +--- +title: "Token as Economic Primitive" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [token-economics, economics, primitive] +sources: [[chen-token-economics-llm-agents]] +--- + +# Token as Economic Primitive + +**Token 作为经济原语**是 Token Economics 框架的基石命题。Token 不再仅仅是计算的技术单元——它是 Agentic AI 的基础经济要素，同时在三个经济角色上运作。 + +## 三大经济角色 + +| 角色 | 定义 | Agent 中的体现 | +|------|------|--------------| +| **生产要素** | 智能生产的输入资源 | 推理 token、记忆 token、工具调用 token | +| **交换媒介** | Agent 间交互的通用语言 | 通信 token、委托 token、API token | +| **计价单位** | 衡量智能生产成本的标准 | API 定价、GPU 算力核算、推理成本预算 | + +## 理论映射 + +Token 作为生产要素时，服从新古典生产理论： +- **生产函数**: Q = f(K_input, K_reasoning, K_tool, ...) — 不同 token 类型的要素组合决定输出质量 +- **要素替代**: 推理 token 和记忆 token 之间存在替代弹性——可以用更多计算换取更少存储，反之亦然 +- **边际产出递减**: 输入 token 增加到「Lost in the Middle」区间后，边际信息增益急剧下降 + +Token 作为交换媒介时： +- 所有 Agent 间的通信最终都展开为 token 序列 +- Token 的"汇率"由模型能力差异决定（不同模型处理同一任务所需 token 数不同） +- 经济学术语中的"货币流通速度"对应 token 的消耗速率 + +## 范式意义 + +将 token 视为经济原语意味着： +- Agent 系统的设计不再是纯工程问题，而是**资源配置问题** +- 不能无限追加 token 来提升质量——存在经济约束 +- Token 的生产、分配和消费需要像管理货币一样管理 diff --git a/concepts/token-duplication.md b/concepts/token-duplication.md new file mode 100644 index 0000000..416dfb3 --- /dev/null +++ b/concepts/token-duplication.md @@ -0,0 +1,49 @@ +--- +title: "Token Duplication (Token 复制)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [training-optimization, attention-mask, multi-turn-reasoning] +sources: ["[[goru-one-pass-to-reason-2025]]"] +--- + +# Token Duplication + +> 在多轮推理训练的 [[one-pass-fine-tuning|单遍微调]] 中，将每个助手回复的 response token 复制为两份以解决可见性冲突的技术。 + +## 为什么需要复制 + +推理模型的多轮对话中存在一个根本矛盾： + +- **生成时**：ri 必须能关注 ti（推理 token）来产生正确回复 +- **作为上下文时**：ri 不应关注 ti（推理 token 已被丢弃） + +单一 token 序列无法同时满足这两个条件 → 需要两份副本。 + +## 两份副本的角色 + +| 副本 | 符号 | 职责 | 注意力范围 | 参与 loss | +|------|------|------|-----------|----------| +| 上下文副本 | ri_in | 为后续轮次提供历史 | A(H_{ Tokens have evolved far beyond simple data units; they are the foundational currency of our intelligence-driven future. + +历史上的经济原语演变：kWh（工业时代）→ GB（信息时代）→ **Token（智能时代）**。Token 经济学研究 token 作为**生产要素、交换媒介和计价单位**的生产、分配和消费。 + +## 四维分类法 + +``` +Token Economics +├── Micro (单Agent): 预算约束下的要素替代 +│ └── 新古典企业理论 + 要素替代理论 +├── Meso (多Agent): 协作摩擦最小化 +│ └── 交易成本理论 + 委托代理理论 +├── Macro (Agent生态): 拥堵外部性与定价 +│ └── 机制设计理论 + 拥堵经济学 +└── Security (跨层): 对抗威胁作为内生约束 + └── 外部性内部化 +``` + +## 与已有概念的关系 + +- [[token-efficiency|Token 效率]] 关注视觉 token 压缩，是 Micro 层的具体应用 +- [[cost-quality-speed-trilemma|三元悖论]] 对应预算约束下的多维权衡 +- [[agent-harness-safety|Agent 骨架安全]] 的安全约束是 Security 层的互补视角 +- [[token-superposition-training|TST]] 是训练侧的 token 经济优化（在预训练阶段降低 token 成本） +- [[million-token-context|百万 Token 上下文]] 扩大了 token 经济的规模效应 + +## 研究关注点 + +核心公式：**min TC s.t. Y ≥ Z** — 在满足质量阈值 Z 的条件下最小化 Token 消耗 TC。 diff --git a/concepts/token-market-dynamics.md b/concepts/token-market-dynamics.md new file mode 100644 index 0000000..cbdcb6c --- /dev/null +++ b/concepts/token-market-dynamics.md @@ -0,0 +1,41 @@ +--- +title: "Token Market Dynamics" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [token-economics, market, pricing, agent-ecosystem] +sources: [[chen-token-economics-llm-agents]] +--- + +# Token Market Dynamics + +**Token 市场动态**是 Token Economics 五大前沿方向之一（O3），研究**实时 Token 市场和动态定价机制**在 Agent 生态系统中的应用。类比电力市场的实时电价，Token 的价格应随供需变化而动态调整。 + +## 核心理念 + +当前的 Token 定价是静态的（固定 API 价格/1M tokens）——这忽略了： +- 高峰期 GPU 算力供不应求 → 应该涨价以抑制低价值消费 +- 低谷期 GPU 闲置 → 应该降价以吸引弹性需求 +- 不同 Agent 任务对延迟的敏感性不同 → 可以通过价格区分 + +## 可能的定价机制 + +| 机制 | 描述 | 类比 | +|------|------|------| +| **实时竞价** | Agent 为 Token 出价，高优先级任务付更多 | 电力现货市场 | +| **拥堵定价** | 在系统负载高峰时提高价格 | 拥堵费/峰谷电价 | +| **期货/合约** | 锁定未来 Token 供应量和价格 | 云计算预留实例 | +| **优先队列** | 不同价格对应不同延迟保证 | 快递优先级 | + +## 对 Agent 设计的影响 + +如果 Token 价格是动态的： +- Agent 需要**价格感知**——在高峰期压缩消费，低谷期扩展 +- Agent 需要**延迟-成本权衡**——高优先级任务付溢价，低优先级等折扣 +- 预算预测变为随机优化——不确定未来的 Token 价格 + +## 与宏观经济学的关系 + +- [[macro-level-token-economics|宏观 Token 经济学]] 关注的是生态层面的市场结构问题 +- 动态定价是宏观层面的核心工具——通过价格信号协调分散的 Agent 决策 +- 这一方向与 [[agent-token-budget-optimization|预算优化]] 闭环：Agent 根据价格调整预算，市场根据总需求调整价格 diff --git a/concepts/token-position-decay.md b/concepts/token-position-decay.md new file mode 100644 index 0000000..849aef6 --- /dev/null +++ b/concepts/token-position-decay.md @@ -0,0 +1,46 @@ +--- +title: "Token Position-Decay (TPD)" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [sparse-attention, position, budget, causal] +sources: [[niu-stem-causal-sparse-attention]] +--- + +# Token Position-Decay (TPD) + +**Token Position-Decay** 是 [[stem-sparse-attention|Stem]] 框架的第一个核心组件，解决了传统稀疏注意力**统一 top-k 预算分配**的根本缺陷。 + +## 核心机制 + +传统方法：一层内所有 token 位置共享相同的稀疏预算 k。 +TPD：稀疏预算随 token 位置**指数衰减**——前面的 token 保留更多，后面的激进稀疏化。 + +``` +k_i = k_max × exp(-λ × i) +``` + +其中 i 是 token 位置，λ 控制衰减速度。 + +## 为什么需要位置衰减 + +由 [[causal-information-flow|因果信息流]] 理论驱动： +- **茎 token**（位置 0~t）：V 向量参与几乎所有后续输出 → 需要更大的 k 来保护信号完整性 +- **叶 token**（位置 >t）：V 向量仅影响局部 → 可以承受更高的稀疏率 + +均匀稀疏化将茎和叶同等对待 → 茎 token 被无差别剪枝 → 递归误差传播污染整个信号流（见 [[causal-information-flow|因果信息流]] 中的跨层递归分析）。 + +## 稀疏预算的定义 + +TPD 中的"稀疏预算"定义为 computed token pairs / full attention pairs 的比率： +- 位置 0：预算接近 100%（几乎保留所有前序 token） +- 位置 N：预算可能降至 10-20%（仅保留最近的关键 token） + +Triton 的 [[block-sparse-attention|Block Sparse Attention]] 内核天然支持这种位置依赖的块级稀疏模式。 + +## 效果 + +- 总体稀疏预算与传统方法相同（总计算量不变） +- 但预算的**分配**从"均匀"变为"前重后轻" +- 在 RULER 和 LongBench 上以相同总体稀疏率获得显著更好的精度 +- 对深层网络（32+ 层）效果尤佳——递归误差积累在深层更严重 diff --git a/concepts/token-security-economics.md b/concepts/token-security-economics.md new file mode 100644 index 0000000..3a62668 --- /dev/null +++ b/concepts/token-security-economics.md @@ -0,0 +1,42 @@ +--- +title: "Token Security Economics" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [token-economics, security, adversarial] +sources: [[chen-token-economics-llm-agents]] +--- + +# Token Security Economics + +**Token 安全经济学**是 Token Economics 四维分类法中的第四层，将**对抗安全威胁内部化为 Token 经济系统的内生约束**。核心理念：安全问题不是独立的技术挑战，而是经济系统的成本项。 + +## 问题公式 + +``` +min TC_production + TC_security_overhead s.t. Quality ≥ Z, Risk ≤ R +``` + +安全不是免费的——防御措施（输入过滤、输出审核、轨迹审计）消耗额外的 Token。优化目标：在满足安全约束的前提下最小化**总生产成本 + 安全开销**。 + +## Token 生命周期安全风险 + +| 阶段 | 风险类别 | Token 经济学成本 | +|------|---------|-----------------| +| **输入** | Prompt 注入、对抗输入 | 防御 token（过滤、改写） | +| **推理** | 越狱、有害生成 | 对齐 token（安全训练开销摊销） | +| **工具调用** | 越权访问、资源泄漏 | 审计 token（轨迹记录和检查） | +| **输出** | 信息泄露、有害内容 | 审核 token（输出分类和过滤） | + +## 经济学理论映射 + +- **外部性内部化**（Pigouvian 税）：安全漏洞的负外部性（对用户/平台的损害）通过安全审计 token 的成本内部化 +- **风险与保险**：安全防护 token 消耗类似于保险保费——确定性成本换取降低灾难性损失的概率 +- **成本-收益分析**：安全开销的最优水平取决于风险概率 × 损失规模 vs 防护成本 + +## 与 Agent 安全的关系 + +- [[agent-harness-safety|Agent 骨架安全]]：安全审计的 token 开销是 Security 层最直接的实例 +- [[boundary-compliance|边界合规]]：L1 的资源访问检查消耗审计 token +- [[hidden-audit-channel|隐藏审计通道]]：审计 token 属于不可回避的安全开销 +- [[safety-adherence-rate|SAR]]：安全约束的乘法门控反映了"安全不是可选项"的经济立场 diff --git a/concepts/token-wise-routing.md b/concepts/token-wise-routing.md new file mode 100644 index 0000000..93424e6 --- /dev/null +++ b/concepts/token-wise-routing.md @@ -0,0 +1,52 @@ +--- +title: "逐Token路由 (Token-Wise Routing)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reasoning, architecture, routing] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# 逐 Token 路由 (Token-Wise Routing) + +逐 token 路由是 [[tarpo|TARPO]] 的核心机制：在每一个 token 生成步骤，模型自主决定下一个推理单元是 [[hard-token|离散 token]] 还是 [[soft-token|连续 latent vector]]。 + +## 设计原则 + +与传统的**固定步长**或**启发式切换**不同，逐 token 路由的粒度是最细的——每一步都是决策点： + +``` +for t in 1..T: + h_t = LLM(h_{t-1}, u_{t-1}) + d_t ~ rho(h_t) # 采样路由决策：hard 或 soft + if d_t == hard: + v_t ~ pi(h_t) # 从词表采样离散 token + u_t = E(v_t) + else: + u_t = soft_mix(h_t) # 构造连续 latent +``` + +## 关键要素 + +### 路由策略 +`ρ_θ(d_t | h_t)` — 一个轻量级分类器，从当前隐藏状态预测二元路由决策 + +### 动作空间 +`A = {soft} ∪ ({hard} × V)` — 统一了路由选择和 token 采样 + +### 探索机制 +通过从路由策略中**采样**而非取 argmax，保证了推理模式级别的探索 + +## 优势 + +1. **细粒度控制**：每步独立决策，而非预设固定模式 +2. **自适应**：学习何时需要表达力（soft）vs 随机性（hard） +3. **可学习**：完全通过 RL 优化，无需启发式或监督信号 + +## 参考 + +- [[action-routing-policy|动作路由策略]] +- [[action-head-router|动作头路由器]] +- [[tarpo|TARPO]] +- [[hybrid-reasoning|混合推理]] diff --git a/concepts/tpp-applications.md b/concepts/tpp-applications.md new file mode 100644 index 0000000..030ca86 --- /dev/null +++ b/concepts/tpp-applications.md @@ -0,0 +1,57 @@ +--- +title: "TPP 应用场景" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, applications, event-prediction, causal-discovery] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# TPP 应用场景 (TPP Applications) + +TPP 已被广泛应用于从预测到因果推断的多种场景，覆盖科学、金融、社交网络等领域。 + +## 两大应用范式 + +### 事件预测 + +利用历史数据预测未来事件的时间、频率和类型： + +| 领域 | 事件表示 | 典型模型 | 目标 | +|------|---------|---------|------| +| 社交网络 | 发帖/转推 | Hawkes, Neural TPP | 信息扩散预测 | +| 流行病学 | 感染时间/位置 | Hawkes, 时空 TPP | 疾病传播预测 | +| 地震学 | 地震时间/位置 | 时空 Hawkes | 余震预测 | +| 金融 | 交易/订单 | Hawkes, Neural Hawkes | 市场事件预测 | +| 推荐系统 | 购买/点击 | Hawkes + Attention | 用户行为预测 | + +### 因果发现 + +从观测事件序列中推断事件类型间的 Granger 因果关系——见 [[granger-causality-tpp|Granger 因果发现]]： + +| 领域 | 事件类型 | 因果目标 | +|------|---------|---------| +| 神经科学 | 神经元脉冲序列 | 功能连接推断 | +| 金融 | 买卖订单流 | 买卖单向影响分析 | +| AI 运维 | 系统故障事件 | 根因定位 | +| 医疗 | 症状-药物事件 | 药物交互分析 | +| 网络安全 | 安全警报序列 | 攻击模式识别 | + +## 延伸任务 + +- **事件序列聚类**：按时序动态模式分组序列（如用户行为细分） +- **长程预测**：预测未来长时间窗口内的多个事件，而非仅下一事件 +- **多模态推理**：结合文本/图像等模态信息的语义事件理解（LLM-based TPP） + +## 标准化与 Benchmark + +- **EasyTPP** (Xue et al., 2023a)：统一的 TPP benchmark 框架 +- **HyPro** (Xue et al., 2022)：长程预测协议 +- **DanmakuTPPBench** (Jiang et al., 2025)：多模态 TPP benchmark + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[hawkes-process|Hawkes 过程]] +- [[granger-causality-tpp|Granger 因果发现]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/tpp-training-methods.md b/concepts/tpp-training-methods.md new file mode 100644 index 0000000..2caea66 --- /dev/null +++ b/concepts/tpp-training-methods.md @@ -0,0 +1,81 @@ +--- +title: "TPP 训练方法" +created: 2026-06-16 +updated: 2026-06-16 +type: concept +tags: [temporal-point-process, training, estimation, optimization] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# TPP 训练方法 (Training Methods for TPP) + +TPP 模型的参数估计面临独特挑战：连续时间的似然函数通常涉及强度函数的积分。不同训练目标在计算与统计效率间有本质权衡。 + +## 四大训练目标 + +### 1. 最大似然估计 (MLE) + +``` +theta_hat = arg max sum log lambda*(t_n) - ∫_0^T lambda*(tau) dtau +``` + +- **散度类型**：KL 散度 +- **需要似然**：是 +- **需要数值积分**：是（强度积分） +- **统计效率**：渐近最优（最小方差） +- **代表**：Ozaki (1979), Paninski (2004) + +### 2. Wasserstein 距离训练 + +``` +theta_hat = arg min W(f_data, f_theta) +``` + +- **散度类型**：Wasserstein 距离 +- **需要似然**：否 +- **需要数值积分**：否 +- **统计效率**：一致的，方差较高 +- **代表**：Xiao et al. (2017a, 2018) + +### 3. 噪声对比估计 (NCE) + +将参数学习转化为二分类问题——区分真实序列和噪声序列： + +``` +Loss = E_{T~real}[log sigma(s_theta(T))] + E_{T~noise}[log(1-sigma(s_theta(T)))] +``` + +- **散度类型**：基于分类 +- **需要似然**：否 +- **需要数值积分**：否 +- **统计效率**：一致的，方差较高 +- **代表**：Guo et al. (2018), Mei et al. (2020) + +### 4. 评分匹配 / Fisher 散度 + +通过评分函数（score function）的梯度衡量分布差异： + +``` +theta_hat = arg min E_f[||∇log f(T) - ∇log f_theta(T)||^2] +``` + +- **散度类型**：Fisher 散度 +- **需要似然**：否（仅需评分函数） +- **需要数值积分**：否 +- **统计效率**：一致的，方差较高 +- **代表**：Sahani et al. (2016), Li et al. (2023), Cao et al. (2024) + +## 关键权衡 + +- MLE 统计上最优，但积分开销大 +- 替代方法避免积分但渐近方差更高 +- 选择取决于应用场景的规模 vs 精度需求 +- [[intensity-free-modeling|Intensity-free 参数化]] 是另一种绕过积分的策略（保留 MLE 的效率优势） + +## 参考 + +- [[temporal-point-process|时间点过程]] +- [[conditional-intensity-function|条件强度函数]] +- [[neural-temporal-point-process|神经 TPP]] +- [[intensity-free-modeling|Intensity-free 建模]] +- [[advances-temporal-point-processes-2026|TPP 综述]] diff --git a/concepts/trajectory-auditing.md b/concepts/trajectory-auditing.md new file mode 100644 index 0000000..d32bf89 --- /dev/null +++ b/concepts/trajectory-auditing.md @@ -0,0 +1,42 @@ +--- +title: "Trajectory Auditing" +created: 2026-06-05 +updated: 2026-06-05 +type: concept +tags: [agent-safety, trajectory, audit, evidence] +sources: [[liu-auditing-agent-harness-safety]] +--- + +# Trajectory Auditing + +**轨迹审计**（Trajectory Auditing）是以 Agent 执行的全过程轨迹（而非最终输出）为证据单元进行安全审计的方法论。由 [[harnessaudit|HarnessAudit]] 框架系统性实现。 + +## 核心理念 + +> The execution trajectory as the unit of evidence. + +传统的 [[agent-safety-evaluation|Agent 安全评测]] 以最终输出或终止状态为评分依据。轨迹审计的洞见是：**大多数安全违规发生在轨迹中途而非终止时**——只检查最终输出会系统性漏报。 + +## 证据收集 + +[[harnessaudit|HarnessAudit]] 通过三类 [[hidden-audit-channel|隐藏审计通道]] 收集证据： + +1. **工具调用日志**：每次 tool_call 的名称、参数、结果 +2. **资源访问日志**：每次对数据库/文件系统的读写操作及权限决策 +3. **组件间通信日志**：每条 inter-agent 消息的发送方、接收方、内容 + +所有证据以 append-only JSONL 格式记录，允许离线重新审计而无需重新运行 Agent。 + +## 跨框架归一化 + +不同骨架（Claude Code、Codex、OpenClaw）暴露不同的原生事件格式。轨迹审计通过统一的 Action Schema 归一化： +- `tool_call`：工具名 + 序列化参数 + 返回结果 +- `communication`：发送方角色 + 目标角色 + 消息内容 + +每条 action 携带运行 ID、时间戳、全局序号、Agent ID、角色、框架原生溯源信息。 + +## 与轨迹优化方法的区别 + +- [[interleaved-gui-tool-trajectory-scaling|轨迹缩放]] 关注如何利用更多轨迹提升能力 +- [[bidirectional-trajectory-evaluation|双向轨迹评估]] 关注正反方向的一致性 +- 轨迹审计关注的是**安全性**而非**能力**——"正确地违规"仍是违规 diff --git a/concepts/trajectory-regulation-layer.md b/concepts/trajectory-regulation-layer.md new file mode 100644 index 0000000..951805e --- /dev/null +++ b/concepts/trajectory-regulation-layer.md @@ -0,0 +1,45 @@ +--- +title: "Trajectory Regulation Layer（轨迹调控层）" +created: 2026-06-11 +updated: 2026-06-11 +type: concept +tags: [agent, harness, trajectory, recovery, monitoring] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +--- + +# Trajectory Regulation Layer + +> Life-Harness 的第④层：环境反馈返回后，监控轨迹级模式，检测**退化信号**并在必要时触发恢复干预。 + +## 机制 + +``` +r_t = REGULATE_TRAJECTORY(τ_t, a_t, o_{t+1}, b_t) +``` + +其中 b_t = B - t - 1 是剩余步骤预算。输出 r_t 可能是： +- **空** — 轨迹正常，无需干预 +- **软恢复消息** — 轻微偏离，提示纠正 +- **重复失败警告** — 检测到模式重复 +- **强纠正指令** — 轨迹明显退化，需要强制重定向 + +## 检测的退化模式 + +该层不依赖于深度语义理解，而是从**轨迹级模式**中检测问题： + +- **重复（Repetition）**：连续发出相同的无效命令 +- **停滞（Stagnation）**：在等价状态间循环，无实质进展 +- **无效重试（Invalid Retries）**：反复重试已知失败的操作 +- **预算耗尽（Budget Exhaustion）**：剩余步骤不足以完成任务 + +## 设计哲学 + +这类失败是**自强化（self-reinforcing）**的——Agent 陷入循环后不会自行跳出。它们通常不需要深度推理即可从轨迹模式中检测，但需要**外部介入**才能打断。这正是 Regulation Layer 的价值。 + +在 Life-Harness 的失败诊断中，轨迹退化占 17%。 + +## 参考 +- [[xu-life-harness|Life-Harness 论文]] +- [[action-realization-layer|动作实现层]] +- [[deterministic-agent-failures|确定性 Agent 失败分类]] +- [[harness-evolution|Harness Evolution]] diff --git a/concepts/two-time-scale-process.md b/concepts/two-time-scale-process.md new file mode 100644 index 0000000..00937fb --- /dev/null +++ b/concepts/two-time-scale-process.md @@ -0,0 +1,54 @@ +--- +title: "双时间尺度过程 (Two Time-Scale Process)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [reinforcement-learning, theory, stochastic-processes] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 双时间尺度过程 (Two Time-Scale Process) + +双时间尺度过程是 [[ticks-to-flows|Ticks-to-Flows]] 论文的核心理论贡献——它将 RL 学习过程分解为在**两个独立时钟**上同时演化的随机过程。 + +## 两个时钟 + +``` +环境时间 (environment time) t: 0 ──────────────────────> T + [快钟，连续 SDE 动态] + +梯度时间 (gradient time) τ: 0 ──η──2η──3η──...──> Nη + [慢钟，参数更新] +``` + +- **环境时间 t**：agent 与环境交互，状态按 [[stochastic-differential-equation|SDE]] 演化。每个 episode 从 0 到 T，以 Δt 步长离散化 +- **梯度时间 τ**：NN 参数以学习率 η 更新。τ 的步长是 η，在无限宽极限下 `η = O(1/sqrt(n))` + +## 状态的双重依赖 + +状态随机变量 `s_{t,τ}` 同时依赖两个时间尺度： + +``` +在环境时间上: ds_{t,τ} = (g + h·π) dt + σ̃ dW_t (SDE 动态) +在梯度时间上: s_{t,τ+η} = s_{t,τ} + Δs_{t,τ} (参数更新带来状态变化) +``` + +## 关键洞察 + +这是论文的标题来源 "From Ticks to Flows"： + +- **Ticks**：标准 RL 的离散时间步 +- **Flows**：连续时间 SDE 视角（环境时间）+ 连续梯度流（梯度时间） +- 两个时间尺度上的"流"通过一个封闭系统（仅 5 个变量）连接 + +## 与监督学习的区别 + +在监督学习中，数据分布是静态的——梯度步骤只改变模型参数。在 RL 中，**梯度步骤同时改变数据分布**（通过改变策略），这正是需要双时间尺度分析的深层原因。 + +## 参考 + +- [[continuous-time-rl|连续时间 RL]] +- [[ito-calculus|Itô 微积分]] +- [[ticks-to-flows|Ticks to Flows]] +- [[stochastic-differential-equation|SDE]] diff --git a/concepts/type-safety-in-agents.md b/concepts/type-safety-in-agents.md new file mode 100644 index 0000000..24a8c31 --- /dev/null +++ b/concepts/type-safety-in-agents.md @@ -0,0 +1,50 @@ +--- +title: "Agent 类型安全 (Type Safety in Agents)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [agent, type-safety, pydantic, structured-output] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# Agent 类型安全 (Type Safety in Agents) + +> 将类型系统嵌入 Agent 运行时，使类型在运行前就约束 Agent 的行为空间——类型从"报错器"进化为"编译器"。 + +## 两种范式 + +### 事后校验（传统） +``` +LLM 输出 → model_validate → 错了 → 重试 +``` +类型只是最后的守门员。改了 tool 参数但忘了改校验逻辑 → 运行时 bug。 + +### 事前约束（Pydantic AI） +``` +Agent 定义时类型已写入 tool schema → LLM 按 schema 输出 → 自动校验 → 框架重试 +``` +[[pydantic-ai|Pydantic AI]] 中，`@agent.tool` 装饰器自动从函数签名推断 tool schema，框架层保证一致性。 + +## 三个维度的类型安全 + +| 维度 | 机制 | 效果 | +|------|------|------| +| 输入安全 | tool schema 自动推断 | LLM 调用 tool 时参数自动校验 | +| 输出安全 | `result_type` | Agent 最终输出强制符合类型 | +| 传递安全 | `frozen=True` | 模块间传递不可篡改 | + +## 零成本起步配置 + +```python +model_config = { + "strict": True, + "extra": "forbid", + "frozen": True, +} +``` + +## 参考 + +- [[pydantic-ai|Pydantic AI]] +- [[structured-output|结构化输出]] +- [[pydantic-core|pydantic-core]] diff --git a/concepts/typeadapter.md b/concepts/typeadapter.md new file mode 100644 index 0000000..f526b84 --- /dev/null +++ b/concepts/typeadapter.md @@ -0,0 +1,48 @@ +--- +title: "TypeAdapter" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: [pydantic, validation, type-safety] +sources: [raw/articles/pydantic-three-piece-suite-2026.md] +--- + +# TypeAdapter + +> [[pydantic-core|pydantic-core]] 提供的灵活校验接口——同一份数据，不同严格度。无需写两套模型定义。 + +## 核心场景 + +API 入参需要严格校验（字段不能多、类型不能松），但同一个模型在 Agent 内部传递时想宽松一点（Agent 中间步骤输出不稳定，太严阻碍流程）。 + +## 使用方式 + +```python +from pydantic import BaseModel, TypeAdapter + +class UserProfile(BaseModel): + name: str + age: int + email: str | None = None + model_config = {"extra": "forbid"} + +# 严格模式——API 入口 +api_validator = TypeAdapter(UserProfile) + +# 宽松模式——Agent 内部传递 +internal_validator = TypeAdapter(Any) + +# 同一份数据，不同入口 +profile = api_validator.validate_python(raw_data) # 硬校验 +flexible = internal_validator.validate_python(raw_data) # 宽松 +``` + +## 实用进阶 + +真正实用的不是切换类型——是 `strict` 参数和 `frozen` 配置在同一个模型定义上的不同用法。例如 API 入口用 `strict=True`，内部模块用 `strict=False`。 + +## 参考 + +- [[pydantic-core|pydantic-core]] +- [[pydantic|Pydantic]] +- [[pydantic-three-piece-suite|Pydantic 三件套]] diff --git a/concepts/uncancelled-interaction-effects.md b/concepts/uncancelled-interaction-effects.md new file mode 100644 index 0000000..46e3618 --- /dev/null +++ b/concepts/uncancelled-interaction-effects.md @@ -0,0 +1,50 @@ +--- +title: "未抵消交互效应 (Uncancelled Interaction Effects)" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [interactions, metrics, noise, LLM] +sources: + - "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# 未抵消交互效应 (Uncancelled Interaction Effects) + +## 定义 + +未抵消交互效应比例 $\rho$ 衡量一组交互中正效应和负效应**相互抵消后剩余的有效贡献**。当 $\rho$ 接近 0 时，意味着交互的正负效应几乎完全抵消，对目标 token 预测几乎没有净贡献——这是噪声模式的典型特征。 + +## 度量 + +$$\rho(\Omega^{\text{and}}, \Omega^{\text{or}}) = \frac{\left|\sum_{\text{type}} \sum_{S \in \Omega^{\text{type}}} I_S^{\text{type}}\right|}{\sum_{\text{type}} \sum_{S \in \Omega^{\text{type}}} |I_S^{\text{type}}|} \times 100\%$$ + +分子取绝对值，分母为所有交互效应的绝对值之和。 + +## 解释 + +| $\rho$ 值 | 含义 | +|-----------|------| +| $\approx 0$ | 强正负抵消 → 噪声模式 | +| 较高 | 净效应显著 → 可靠信号 | + +## 在 SFT 分析中的应用 + +在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 中，$\rho$ 是区分信号与噪声的核心指标： + +- **Removed 交互**：$\rho \approx 0$——被移除的交互正负效应几乎完全抵消，证实它们是噪声 +- **Newly emerged 交互（后期）**：$\rho \approx 0$——过拟合阶段涌现的交互同样是噪声 +- **Preserved 交互**：$\rho$ 最高——保留的交互净效应显著，是真正的推理信号 + +## 与泛化性的互补关系 + +$\rho$（未抵消效应比例）与 [[interaction-generalizability|γ（泛化性）]] 是两个互补的交互质量指标： +- $\rho$ 衡量**内部一致性**（效应是否互相抵消） +- $\gamma$ 衡量**外部一致性**（是否跨模型通用） + +在 Zhang et al. 的实验中，Removed 交互同时具有 $\gamma \approx 0$ 和 $\rho \approx 0$，Preserved 交互在两个指标上都最高——两者高度一致。 + +## 相关概念 + +- [[interaction-generalizability|交互泛化性]] +- [[interaction-types-sft|SFT 中的三类交互]] +- [[interaction-order|交互阶数]] diff --git a/concepts/uncertainty-disparity-ratio.md b/concepts/uncertainty-disparity-ratio.md new file mode 100644 index 0000000..1ef7938 --- /dev/null +++ b/concepts/uncertainty-disparity-ratio.md @@ -0,0 +1,43 @@ +--- +title: "不确定性差异比 (Uncertainty Disparity Ratio, UDR)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["algorithmic-equity", "uncertainty-quantification", "metrics"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 不确定性差异比 (Uncertainty Disparity Ratio, UDR) + +**UDR** 是 [[uncertainty-equity-gap|UEG]] 的配套公平性度量，计算目标群体与参考群体之间认知不确定性的比值。 + +## 形式化定义 + +``` +UDR(g, r) = E[sigma | group = g] / E[sigma | group = r] +``` + +- g：目标群体 +- r：参考群体 +- sigma：融合认知不确定性 + +## 解读 + +| UDR | 含义 | +|-----|------| +| = 1.0 | 完全公平（不确定性相等） | +| > 1.0 | 目标群体不确定性更高（模型对其更不确定） | +| < 1.0 | 目标群体不确定性更低 | + +在 [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 中，农村 vs 三级设施的 UDR = 1.153，即农村患者的不确定性比三级医院患者高 15.3%。 + +## 与 UEG 的关系 + +- **UEG**：基于百分比的归一化差距，适合跨数据集比较 +- **UDR**：原始比值，更直观的局部解释 +- 两者互补使用 + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[uncertainty-equity-gap|UEG]] +- [[algorithmic-equity|算法公平性]] diff --git a/concepts/uncertainty-equity-gap.md b/concepts/uncertainty-equity-gap.md new file mode 100644 index 0000000..cafe5cb --- /dev/null +++ b/concepts/uncertainty-equity-gap.md @@ -0,0 +1,50 @@ +--- +title: "不确定性公平性差距 (Uncertainty Equity Gap, UEG)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["algorithmic-equity", "uncertainty-quantification", "metrics", "clinical-ai"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 不确定性公平性差距 (Uncertainty Equity Gap, UEG) + +**UEG** 是 [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 提出的公平性度量指标，将校准后的认知不确定性作为算法公平性的形式化信号。 + +## 形式化定义 + +``` +UEG = (max_g E[sigma | g] - min_g E[sigma | g]) / E[sigma | r] +``` + +- g：子群体（如设施类型、社会经济地位、年龄组、性别） +- r：参考群体（通常为最优势群体） +- sigma：融合后的认知不确定性标准差 + +**配套指标** — [[uncertainty-disparity-ratio|UDR]]： +``` +UDR(g, r) = E[sigma | group = g] / E[sigma | group = r] +``` + +## 核心发现 + +在 1,000 名合成患者数据集上的公平性审计： + +| 子群体轴 | UEG | UDR | p 值 | 效应量 r | +|---------|-----|-----|------|---------| +| 设施类型（农村 vs 三级） | **15.3%** | 1.153 | <0.001 | 0.698 | +| 社会经济地位（低 vs 高） | 6.8% | — | <0.001 | 0.617 | +| 年龄组（老年 vs 成人） | 3.9% | — | <0.001 | 0.575 | +| 性别 | 0.5% | — | 0.909 | — | + +## 关键洞察 + +标准准确率差异（农村 85.5% vs 三级 82.6%，相差仅 2.9pp）完全无法检测公平性问题，而 UEG 达到 15.3%——**不确定性比准确率对公平性问题敏感得多**。 + +效应量排序（设施 > SES > 年龄 > 性别）精确映射了结构性健康数据质量决定因素的层级。 + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[uncertainty-disparity-ratio|UDR]] +- [[algorithmic-equity|算法公平性]] +- [[expected-calibration-error|ECE]] diff --git a/concepts/uncertainty-quantification.md b/concepts/uncertainty-quantification.md new file mode 100644 index 0000000..58ac3d6 --- /dev/null +++ b/concepts/uncertainty-quantification.md @@ -0,0 +1,41 @@ +--- +title: "不确定性量化 (Uncertainty Quantification)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["bayesian-deep-learning", "clinical-ai", "model-calibration"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 不确定性量化 (Uncertainty Quantification, UQ) + +**不确定性量化**是将置信度/可靠性度量附加到模型预测上的系统性方法。在深度学习中，确定性模型仅输出点估计，UQ 方法则输出分布或置信区间。 + +## 核心分解 + +不确定性量化的基础是将不确定性分解为两类： + +1. **[[aleatoric-uncertainty|随机不确定性]]**（Aleatoric）：数据固有的不可减少噪声 +2. **[[epistemic-uncertainty|认知不确定性]]**（Epistemic）：模型知识的可减少不足 + +## 主要方法 + +| 方法 | 原理 | 代表工作 | +|------|------|---------| +| [[mc-dropout|MC Dropout]] | 推理时保持 Dropout，多次前向传播 | Gal & Ghahramani (2016) | +| [[variational-autoencoder|VAE]] | 变分推断学习潜分布 | Kingma & Welling (2014) | +| Deep Ensembles | 独立训练多个网络 | Lakshminarayanan et al. (2017) | +| [[bayesian-deep-learning|贝叶斯神经网络]] | 权重上的分布 | Blundell et al. (2015) | + +## 校准评估 + +[[expected-calibration-error|ECE]] 是衡量模型校准质量的标准度量：预测置信度与实际准确率的一致性。 + +## 临床 AI 中的特殊价值 + +在 [[clinical-ai|临床 AI]] 中，UQ 不仅是技术属性——它是**公平性信号**。校准后的认知不确定性系统性地识别模型训练数据中代表性不足的患者群体（[[uncertainty-equity-gap|UEG]]），揭示 [[algorithmic-equity|算法公平性]] 问题。 + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[bayesian-deep-learning|贝叶斯深度学习]] +- [[expected-calibration-error|ECE]] diff --git a/concepts/universal-approximation-theorem.md b/concepts/universal-approximation-theorem.md new file mode 100644 index 0000000..4b69001 --- /dev/null +++ b/concepts/universal-approximation-theorem.md @@ -0,0 +1,59 @@ +--- +title: "通用逼近定理 (Universal Approximation Theorem)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, approximation-theory, neural-networks, fundamental] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# 通用逼近定理 (Universal Approximation Theorem) + +UAT 是神经网络理论的**基石**——证明神经网络在适当的函数空间中稠密，即可以任意精度逼近目标函数。 + +## 经典版本 + +Cybenko (1989) / Hornik (1991)： + +``` +单隐层 NN 在 C(K) 中稠密（紧集 K ⊂ R^n） +``` + +任何连续函数在紧集上可被单隐层 sigmoidal NN 任意逼近。 + +## 三个推广维度 + +[[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 同时推进三个方向： + +### 1. 紧集 → 加权空间 +- 不限于紧集，用权重函数 Ψ 控制全局行为 +- 适用于非紧路径空间（随机过程） + +### 2. 连续 → 可微 +- 同时逼近**函数值和方向导数** +- 需要 [[nachbin-theorem|Nachbin 定理]]（带导数的 Stone-Weierstrass） + +### 3. 有限维 → 无限维 +- 输入：无限维流形（如路径空间） +- 输出：Banach 空间 +- 通过 BAP（有界逼近性质）提升维度 + +## 证明骨架 + +``` +标量激活 σ 满足 Tauberian 条件 + ↓ (Wiener/Korevaar) +σ 对线性泛函是 discriminatory + ↓ (加权 Nachbin 定理) +FNN 在加权可微函数空间中稠密 + ↓ (BAP) +提升到无限维输入/输出 +``` + +## 参考 + +- [[functional-input-neural-networks|FNN]] +- [[nachbin-theorem|Nachbin 定理]] +- [[weighted-spaces|加权空间]] +- [[weighted-uat-manifolds|论文原文]] diff --git a/concepts/upstream-downstream-learning.md b/concepts/upstream-downstream-learning.md new file mode 100644 index 0000000..139b8ee --- /dev/null +++ b/concepts/upstream-downstream-learning.md @@ -0,0 +1,46 @@ +--- +title: "上游-下游学习 (Upstream-Downstream Learning)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [transfer-learning, multi-task, paradigm, meta-learning] +sources: [raw/papers/naveen-repmt-sac-2026.md] +confidence: high +--- + +# 上游-下游学习 (Upstream-Downstream Learning) + +上游-下游学习是[[repmt-sac|RepMT-SAC]]采用的**两阶段迁移范式**——先学习可复用表征，再在冻结表征上快速适应新任务。 + +## 上游阶段 (Upstream) + +**目标**：学习任务不变表征 + +- 在多个源任务 `{τ₁, ..., τ_k}` 上联合训练 +- 学习 [[task-invariant-representation|φ(s,a)]] 和辅助表征 µ(s')（谱条件密度估计） +- 同时学习任务编码 w(τ;θ) 和策略 π +- φ 学好后，所有任务的 Q 学习退化为线性回归 + +## 下游阶段 (Downstream) + +**目标**：快速适应新任务 + +- **冻结** φ 和 µ（任务不变动力学不再需要重学） +- 仅**微调** w(τ_new) 和 π_new +- 参数集大幅缩小 → 少样本即可收敛 +- 支持零样本（ID 任务）和少样本（OOD 任务） + +## 与元学习的区别 + +| 维度 | MAML/元学习 | 上游-下游 | +|------|-----------|----------| +| 表征 | 隐式梯度适配 | 显式谱分解 | +| 冻结 | 不冻结，需反向传播 | φ 冻结，w 轻量 | +| 适应速度 | 需要梯度步骤 | 线性回归 + 策略微调 | +| 理论保证 | 经验性 | 谱分解保证 | + +## 参考 + +- [[task-invariant-representation|任务不变表征]] +- [[spectral-mdp-decomposition|谱 MDP 分解]] +- [[rep-mt-sac|RepMT-SAC]] diff --git a/concepts/validity-decay.md b/concepts/validity-decay.md new file mode 100644 index 0000000..36dfebd --- /dev/null +++ b/concepts/validity-decay.md @@ -0,0 +1,46 @@ +--- +title: "Validity Decay" +created: 2026-06-01 +updated: 2026-06-01 +type: concept +tags: [steering, representation-geometry, controllability] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Validity Decay（有效性衰减） + +## 定义 + +有效性衰减 $D(m)$ 是 Xu et al. (2026) 提出的量化函数，描述当导向干预增大时，激活的**可解码质量**如何退化。 + +## 核心假设（Assumption 4.2） + +存在一个单调非增的有效性函数 $V_l: \mathbb{R}^{d_l} \to [0, 1]$，捕捉剩余网络 $F_{l \to L}$ 能否稳定解码给定激活。$V_l$ 随激活到流形 $M_l$ 的距离增大而下降。 + +导向干预下的平均有效性： +$$D(m) = \mathbb{E}_{x \sim X_{\text{stable}}} \left[ V_l(\tilde{h}_l(m)) \right]$$ + +## RQ 衰减形式 + +$$D(m) = \begin{cases} \left[ 1 + \frac{(m-m_+)^2}{L_+} \right]^{-p_+} & m \geq 0 \\ \left[ 1 + \frac{(m-m_-)^2}{L_-} \right]^{-p_-} & m < 0 \end{cases}$$ + +**参数含义**： +- $m_\pm$：与流形的交点（最优有效性位置） +- $L_\pm$：衰减尺度（与流形几何有关） +- $p_\pm$：尾部衰减速率 + +## 在 Preference–Utility 分析中的角色 + +| 维度 | 公式 | 衰减的作用 | +|------|------|----------| +| Preference | $\log\frac{P(p_p)}{1-P(p_p)} = (\alpha_p m + \beta_p) D_p(m) + b_p$ | 投影增益 × 衰减 | +| Utility | $\log\frac{P(u)}{1-P(u)} = \beta_u D_u(m) + b_u$ | 纯衰减（无投影项） | + +**关键不对称**：由于偏好导向方向与效用方向近似正交（$\omega_u^T \Delta h \approx 0$），效用仅通过 $D(m)$ 受影响——这是 preference–utility 折衷的**形式化根源**。 + +## 相关概念 + +- [[activation-manifold]] — 流形假说的几何基础 +- [[representation-validity]] — 表示有效性的更广泛概念 +- [[steering-dynamics]] — $D(m)$ 如何驱动三阶段动态 +- [[xu-why-steering-works]] — 源论文 diff --git a/concepts/variational-autoencoder.md b/concepts/variational-autoencoder.md new file mode 100644 index 0000000..63d81c1 --- /dev/null +++ b/concepts/variational-autoencoder.md @@ -0,0 +1,47 @@ +--- +title: "变分自编码器 (Variational Autoencoder, VAE)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["bayesian-deep-learning", "generative-models", "variational-inference"] +sources: ["[[principled-uncertainty-clinical-ai]]"] +--- + +# 变分自编码器 (Variational Autoencoder, VAE) + +**变分自编码器**（Kingma & Welling, 2014）是生成模型和表示学习的基石，将输入编码为潜空间中的概率分布（而非确定点），通过优化 ELBO（Evidence Lower BOund）进行训练。 + +## 核心公式 + +**编码器**：q_phi(z|x) = N(z; mu_phi(x), sigma^2_phi(x) * I) + +**解码器**：p_theta(x|z) + +**ELBO 目标**： +``` +L(theta, phi; x) = E_{q(z|x)}[log p(x|z)] - D_KL(q(z|x) || p(z)) +``` +- 第一项：重构损失（期望对数似然） +- 第二项：KL 散度正则化（潜分布趋近先验 N(0,I)） + +## 重参数化技巧 + +``` +z = mu_phi(x) + epsilon * sigma_phi(x), epsilon ~ N(0, I) +``` + +通过将随机性隔离到 epsilon，梯度可以通过采样操作回传，实现端到端训练。 + +## 在临床 AI 中的应用 + +[[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] 使用 VAE 作为多模态编码器的基础： + +- 每个模态（EHR、影像、文本）都有独立的变分编码器 +- 输出潜分布 (mu_m, sigma^2_m) +- [[precision-weighted-fusion|精度加权融合]]组合各模态的分布 +- 融合后的潜分布用于临床风险预测 + +## 参考 +- [[principled-uncertainty-clinical-ai|Principled Uncertainty in Clinical AI]] +- [[bayesian-deep-learning|贝叶斯深度学习]] +- [[epistemic-uncertainty|认知不确定性]] diff --git a/concepts/variational-linearized-laplace-approximation.md b/concepts/variational-linearized-laplace-approximation.md new file mode 100644 index 0000000..63277ce --- /dev/null +++ b/concepts/variational-linearized-laplace-approximation.md @@ -0,0 +1,43 @@ +--- +title: "变分线性化 Laplace 近似 (VaLLA)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [bayesian-deep-learning, uncertainty, laplace-approximation, post-hoc] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 变分线性化 Laplace 近似 (VaLLA) + +VaLLA 是 [[ortega-phd-thesis|Ortega (2026)]] 提出的**后处理不确定性校准方法**——将变分推断与[[neural-tangent-kernel|NTK]]线性化 Laplace 结合，为预训练确定性网络附加校准的预测不确定性。 + +## 两阶段结构 + +1. **预训练**：标准确定性网络训练（如分类/回归） +2. **后处理**：在预训练权重上构建 Bayesian 后验 + +## VaLLA 机制 + +``` +p(θ|D) ≈ N(θ_MAP, Σ) +``` + +- **线性化 Laplace**：在 NTK 特征空间（而非权重空间）中构建 Gaussian 后验 +- **变分优化**：不使用 MAP 点的精确 Hessian，而是**变分地学习**最优后验协方差 +- 优势：高效（无需全 Hessian）+ 校准更好 + +## 与 FMGP 的对比 + +| 维度 | VaLLA | [[fixed-mean-gaussian-process|FMGP]] | +|------|-------|------| +| 后验均值 | MAP 点 | 冻结（确定性） | +| 不确定性来源 | 权重后验 | GP 协方差 | +| 校准方式 | 变分学习 Σ | GP 核参数 | + +## 参考 + +- [[fixed-mean-gaussian-process|FMGP]] +- [[neural-tangent-kernel|NTK]] +- [[bayesian-deep-learning|Bayesian 深度学习]] +- [[ortega-phd-thesis|论文]] diff --git a/concepts/vertical-llm-knowledge-engineering.md b/concepts/vertical-llm-knowledge-engineering.md new file mode 100644 index 0000000..910180d --- /dev/null +++ b/concepts/vertical-llm-knowledge-engineering.md @@ -0,0 +1,54 @@ +--- +title: "垂域 LLM 知识工程 (Vertical LLM Knowledge Engineering)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [llm-deployment, knowledge-engineering, vertical-domain, engineering-practice] +sources: [raw/articles/qifu-llm-finance-practice-2026.md] +--- + +# 垂域 LLM 知识工程 (Vertical LLM Knowledge Engineering) + +奇富科技王元提出的 LLM 落地核心范式：**"通用大模型 + 高质量知识工程"** 优于盲目预训练垂类大模型。 + +## 核心论点 + +在专业领域（如金融），通用大模型的推理能力已经足够强。真正的瓶颈不是模型能力，而是**领域知识的工程化程度**： + +- 专业领域数据配合小模型（14B/30B）可以超过通用大模型的 Zero-shot 能力 +- 关键是打破数据壁垒，重塑知识引擎 +- 实现从通用推理到垂直场景的真正落地 + +## 知识工程三大支柱 + +在金融场景中，知识工程包含三个核心环节： + +### 1. 知识提取 +从零散数据中提取结构化知识： +- [[reer-reverse-knowledge-extraction|REER 逆向知识提炼]] — 从 QA 对中反向提取业务手册 +- LLM Wiki 方法 — 参考 Anthropic Captain 的 Markdown+Git 知识库方案 + +### 2. 知识组织 +- Markdown 文档 + 文件系统天然结构 +- Git 版本管理 +- 大模型上下文能力已经足够强，混合搜索甚至可选 + +### 3. 知识验证 +- Perplexity 下降验证（知识是否有助于推理） +- 端到端任务验证（知识是否提升业务指标） + +## 与"盲目预训练"的对比 + +| 维度 | 通用模型 + 知识工程 | 垂域预训练 | +|------|-------------------|-----------| +| 成本 | 低（仅推理+知识维护） | 高（预训练+持续更新） | +| 灵活性 | 高（知识可热更新） | 低（需重新训练） | +| 可解释性 | 高（知识显式可审计） | 低（隐含在参数中） | +| 知识保鲜 | 文件级更新 | 全量或增量训练 | +| 适合模型规模 | 14B/30B 已足够 | 通常需要更大 | + +## 参考 + +- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享 +- [[reer-reverse-knowledge-extraction|REER 逆向知识提炼]] — 知识提取方法 +- [[zero-data-cold-start|零数据冷启动]] — 知识工程的极端场景 diff --git a/concepts/vicreg.md b/concepts/vicreg.md new file mode 100644 index 0000000..0669ef4 --- /dev/null +++ b/concepts/vicreg.md @@ -0,0 +1,53 @@ +--- +title: "VICReg (Variance-Invariance-Covariance Regularization)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [regularization, self-supervised-learning, JEPA, representation-learning] +sources: [raw/articles/lecun-llm-boundary-future-2026.md] +--- + +# VICReg (Variance-Invariance-Covariance Regularization) + +**方差-不变性-协方差正则化**，端到端 JEPA 模型（如 PLDM）采用的防[[representation-collapse|表征坍缩]]方案。不依赖负样本，直接在表征的统计特性上施加约束。 + +## 三项损失 + +$$\mathcal{L}_{VICReg} = \underbrace{\lambda \mathcal{L}_{inv}}_{\text{不变性}} + \underbrace{\mu \mathcal{L}_{var}}_{\text{方差}} + \underbrace{\nu \mathcal{L}_{cov}}_{\text{协方差}}$$ + +### 1. 不变性 (Invariance) + +$$\mathcal{L}_{inv} = \frac{1}{n} \sum_{i=1}^{n} \|s_i - s'_i\|^2$$ + +同一输入的不同增强/视角，编码器输出应相似。保证表征对无关变换（光照、裁剪、视角）具有鲁棒性。 + +### 2. 方差 (Variance) + +$$\mathcal{L}_{var} = \frac{1}{d} \sum_{j=1}^{d} \max(0, \gamma - \sqrt{\text{Var}(s_j) + \epsilon})$$ + +逐维度计算标准差，强制大于阈值 $\gamma$。**防止所有样本挤在同一数值上**——强迫编码器利用每一个维度携带信息。 + +### 3. 协方差 (Covariance) + +$$\mathcal{L}_{cov} = \sum_{j \neq k} C(S)^2_{jk}$$ + +批次表征协方差矩阵的非对角元素平方和。**防止维度之间"串供"**——所有信息压缩在2-3个维度，其他维度冗余。强迫各维度独立携带不同信息，提高有效容量。 + +## 效果与局限 + +✅ 效果：成功对抗表征坍塌，被 PLDM 等模型采用 + +❌ 局限： +- 扩展到世界模型时需组合多个损失项，超参数数量增加（PLDM 需 6 个可调超参） +- 各项损失之间互相拉扯，训练不稳定 + +## 演进：VICReg → [[sigreg|SIGReg]] + +VICReg 已有成熟工作但超参数过多。SIGReg 在其基础上精化：将三项启发式约束统一为**一个数学上更干净的分布匹配问题**——强制嵌入分布匹配各向同性高斯分布。LeWorldModel 用 SIGReg 将超参数从 6 个压缩到 1 个 $\lambda$。 + +## 来源 + +- [[lecun-llm-boundary-future|原始文章]] +- [[sigreg|SIGReg]] +- [[representation-collapse|表征坍缩]] +- [[jepa|JEPA]] diff --git a/concepts/visibility-constraint.md b/concepts/visibility-constraint.md new file mode 100644 index 0000000..873336f --- /dev/null +++ b/concepts/visibility-constraint.md @@ -0,0 +1,49 @@ +--- +title: "Visibility Constraint (可见性约束)" +created: 2025-06-02 +updated: 2025-06-02 +type: concept +tags: [attention, multi-turn-reasoning, training] +sources: ["[[goru-one-pass-to-reason-2025]]"] +--- + +# Visibility Constraint + +> 在推理模型的多轮对话中，推理 token 对当前轮的生成必须可见，但对后续轮次必须隐藏的条件性可见需求。 + +## 问题描述 + +推理模型（[[deepseek-r1]] 等）的工作流程： + +``` +Turn i: hi → ti → ri + 推理token 回复token + +Turn i+1: h_{i+1} → t_{i+1} → r_{i+1} + 此时 ti 已被丢弃，不可见 +``` + +推理 token ti 面临两种矛盾的可见性需求： +- **生成 ri 时**：ti 必须可见（ri 的内容基于 ti） +- **生成 r_{i+1} 时**：ti 必须不可见（行业惯例：推理 token 不保留在上下文中） + +## 为什么标准掩码不够用 + +标准因果注意力掩码是**静态**的：一个 token 要么一直可见，要么一直不可见。无法表达"对 ri 可见但对 r_{i+1} 不可见"这种**条件性**可见。 + +[[block-sparse-attention]] 通过为不同 token 类型定制掩码来解决——本质上是一个块级稀疏矩阵，不同块有不同的可见性模式。 + +## 与 [[token-duplication]] 的关系 + +Token 复制是解决可见性约束的关键： +- 通过复制 ri 为 ri_in 和 ri_out +- ri_out 关注 ti（满足生成需求） +- ri_in 不关注 ti（满足上下文需求） +- 两个副本内容相同，但注意力行为不同 + +## 相关 + +- [[block-sparse-attention]] +- [[token-duplication]] +- [[multi-turn-reasoning]] +- [[goru-one-pass-to-reason-2025|One-Pass to Reason 论文]] diff --git a/concepts/vla-vision-language-action.md b/concepts/vla-vision-language-action.md new file mode 100644 index 0000000..7ead767 --- /dev/null +++ b/concepts/vla-vision-language-action.md @@ -0,0 +1,64 @@ +--- +title: "VLA (Vision-Language-Action)" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [embodied-AI, robotics, VLA, LeCun] +sources: [raw/articles/lecun-llm-boundary-future-2026.md] +--- + +# VLA (Vision-Language-Action) + +**视觉-语言-动作模型**，将大语言模型的成功经验迁移到机器人控制的架构范式：Vision + Language → Action。 + +## LeCun 的判断 + +> "VLA现在基本上被视为失败。不够可靠，需要太多训练数据。" + +2023 年 Google DeepMind RT-2 发布时，曾将具身智能商业化预期提前三年。但学术研究和工业实践反复验证了 VLA 的根本性局限。 + +## 失败的四个层面 + +### 1. 可靠性 + +- **VLATest (FSE 2025)**：对 7 个代表性 VLA 模型的模糊测试，结论"缺乏实际部署所需的鲁棒性" +- **LIBERO-Plus (2025)**：适度扰动相机视角/机器人初始状态可使成功率从 95% 骤降至 **30% 以下** +- **致命发现**：VLA 模型"在相当程度上忽略了语言指令"，更多依赖视觉线索做决策——本质在做视觉模式匹配，而非指令-动作因果关联 + +### 2. 数据成本 + +- LLM 预训练数据有普遍迁移性；VLA 模仿学习数据 **没有迁移性** +- 每个新任务、新环境、新操作对象需重新收集演示数据 +- 扩展成本线性甚至超线性增长 + +### 3. 泛化 + +- ICLR 2026 论文 *From Seeing to Doing*："仍然无法实现鲁棒的零样本性能" +- 最佳模型零样本泛化仅 **72%**，远未达到工业部署要求 +- VLA 学到的本质是"**条件反射式**"行为映射，不是真正的泛化智能 + +### 4. 规划 + +- 沿袭 LLM 的自回归逐 token 预测，无法进行显式多步规划 +- 只能问"下一个动作应该是什么"，不能问"如果我这样做会怎样" + +## 为什么产业界还在押注？ + +1. **工程成熟度最高**：直接继承 Transformer/大规模预训练/多模态对齐/指令微调/强VLM技术栈 +2. **许多任务不需要完整世界模型**：仓库分拣、工厂装配等——环境固定、目标明确、动作空间有限 +3. **正在吸收世界模型思想**：引入显式状态预测、层级规划、强化学习等融合方案 + +## VLA 的适用边界 + +✅ 可工作：受控条件、有限任务集、充足演示数据（固定工位分拣、特定生产线） + +❌ 走不通：通向通用机器智能的路径——泛化上限决定了只能分布内运行 + +LeCun 的批评语境是"AGI 核心路径走不通"，而非"任何场景都无用"。 + +## 相关 + +- [[jepa|JEPA]] — 替代架构 +- [[world-model-lecun|LeCun 世界模型理论]] +- [[objective-driven-ai|目标驱动AI]] +- [[lecun-llm-boundary-future|原始文章]] diff --git a/concepts/watanabe-triple.md b/concepts/watanabe-triple.md new file mode 100644 index 0000000..dde73b6 --- /dev/null +++ b/concepts/watanabe-triple.md @@ -0,0 +1,46 @@ +--- +title: "Watanabe 三元组 (Watanabe's Triple)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["singular-learning-theory", "bayesian-statistics", "asymptotics"] +sources: ["[[dead-directions-geometric-singular-learning]]"] +--- + +# Watanabe 三元组 (lambda, m, nu) + +**Watanabe 三元组**完整刻画了奇异统计模型的贝叶斯渐近性质： + +- **lambda**（[[real-log-canonical-threshold|RLCT]]）：主导自由能的 log n 修正 +- **m**（重数 multiplicity）：log log n 项的系数 +- **nu**（奇异波动 singular fluctuation）：泛化误差的渐近修正 + +## 公式 + +贝叶斯自由能： +``` +F_n = n·S_n + lambda·log n - (m-1)·log log n + O(1) +``` + +泛化误差： +``` +G_n = S + lambda/n + nu/n + o(1/n) +``` + +## Shirodkar 的贡献 + +[[dead-directions-geometric-singular-learning|Shirodkar (2026)]] 的核心突破： + +1. **nu 的通用性**：对一维 dead direction，nu 在 KL 阶中通用确定 +2. **单 checkpoint 读取**：从一次前向+反向传播计算 lambda, m, nu +3. **无需后验采样**：传统 SLT 需要 MCMC 采样 → 现在仅需梯度信息 + +## 实践意义 + +直接从训练轨迹（梯度流）读取 (lambda, m, nu) → 实时监控模型的泛化性质——这在之前需要完整的贝叶斯后验分析。 + +## 参考 +- [[dead-directions-geometric-singular-learning|Dead Directions]] +- [[singular-learning-theory|Singular Learning Theory]] +- [[real-log-canonical-threshold|RLCT]] +- [[kl-order|KL Order]] diff --git a/concepts/weak-revealing-condition.md b/concepts/weak-revealing-condition.md new file mode 100644 index 0000000..9d7cd07 --- /dev/null +++ b/concepts/weak-revealing-condition.md @@ -0,0 +1,42 @@ +--- +title: "弱揭示条件 (Weak Revealing Condition)" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["pomdp", "system-identification", "partial-observability"] +sources: ["[[minimax-policy-regret-pomg]]"] +--- + +# 弱揭示条件 (Weak Revealing Condition) + +**Weak Revealing**（Liu et al., 2022a）是 [[partially-observable-markov-game|POMG]]/[[pomdp|POMDP]] 中关于观测信息量的结构假设，排除观测完全无信息的退化情况。 + +## 形式化定义 + +存在 kappa >= 1 和 alpha_kappa > 0，使得对于任意两个世界参数 theta, theta'： + +``` +|| O_{h:h+kappa-1}^{theta}(·|q,o,a) - O_{h:h+kappa-1}^{theta'}(·|q,o,a) ||_1 + >= alpha_kappa * || W_h^theta(o,a)·q - W_h^{theta'}(o,a)·q ||_1 +``` + +即：世界通道差异可通过 kappa 步学习者观测窗口以至少 alpha_kappa 的信号强度检测。 + +## 直觉 + +- kappa：窗口长度——需要多少步观测才能揭示动力学差异 +- alpha_kappa：信号强度——差异有多容易被检测 + +如果 kappa 很小且 alpha_kappa 很大 → 观测高度信息性 → 学习容易 +如果 kappa 很大或 alpha_kappa 很小 → 观测信息性差 → 学习困难（可能需要指数级样本） + +## 在 POMG 中的角色 + +1. 排除"观测完全无信息"的退化 POMG（否则无法从观测数据中识别世界动力学） +2. 量化学习难度：alpha_kappa 和 kappa 出现在 regret 界的对数因子中 +3. 与 [[observable-operator-model|OOM]] 框架紧密结合 + +## 参考 +- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]] +- [[observable-operator-model|OOM]] +- [[partially-observable-markov-game|POMG]] diff --git a/concepts/weighted-spaces.md b/concepts/weighted-spaces.md new file mode 100644 index 0000000..b998a8d --- /dev/null +++ b/concepts/weighted-spaces.md @@ -0,0 +1,50 @@ +--- +title: "加权空间 (Weighted Spaces)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [functional-analysis, topology, approximation-theory] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# 加权空间 (Weighted Spaces) + +加权空间是 [[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 框架的**核心技术设定**——通过权重函数 Ψ 控制函数和导数在非紧区域的行为，实现全局逼近。 + +## 动机 + +经典 [[universal-approximation-theorem|UAT]] 在紧集上工作。但： + +- 随机过程的路径**几乎必然不落在紧集中** +- SDE 解的支撑集是非紧的 +- 需要全局逼近理论 + +## 定义 + +权重函数 Ψ 是一族连续函数，定义"可接受的"增长速率： + +``` +k k +B_Ψ (M; Y) := { f : M → Y in C^k : 对任意 p, ∃C: ‖f‖_{k,Ψ} < ∞ } +``` + +其中 `‖f‖_{k,Ψ}` 是加权 C^k 半范数。 + +## 关键性质 + +- **Ψ-moderate growth**：函数和直到 k 阶导数被 Ψ 控制 +- **子代数条件**：加权空间中乘积的封闭性 +- **分离性**：权重族必须足够丰富以分离点 +- **局部凸结构**：半范数族生成局部凸拓扑 + +## 扩展：高阶切空间权重 + +论文将加权设置扩展到**高阶切空间**——不仅控制函数值，还控制各阶方向导数。通过 [[bastiani-calculus|Bastiani 微积分]] 的 σ-紧适配实现。 + +## 参考 + +- [[nachbin-theorem|Nachbin 定理]] +- [[infinite-dimensional-manifolds|无限维流形]] +- [[universal-approximation-theorem|UAT]] +- [[weighted-uat-manifolds|论文原文]] diff --git a/concepts/wiener-process.md b/concepts/wiener-process.md new file mode 100644 index 0000000..d7d11bc --- /dev/null +++ b/concepts/wiener-process.md @@ -0,0 +1,52 @@ +--- +title: "维纳过程 (Wiener Process)" +created: 2026-06-17 +updated: 2026-06-17 +type: concept +tags: [mathematics, stochastic-processes, probability] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# 维纳过程 (Wiener Process) + +Wiener 过程（即标准 Brownian motion）是**连续时间随机过程的基本构建块**，在 [[stochastic-differential-equation|SDE]] 理论中扮演噪声驱动的角色。 + +## 定义 + +一个随机过程 `W_t` 称为 Wiener 过程，若满足： + +1. `W_0 = 0`（从原点出发） +2. 样本路径几乎必然连续 +3. 增量独立：对任意 `s < t`，`W_t - W_s` 与 `W_u (u ≤ s)` 独立 +4. 增量服从正态分布：`W_t - W_s ~ N(0, t-s)` +5. 是平方可积鞅（martingale） + +## 多维 Wiener 过程 + +`d_s` 维 Wiener 过程是 `d_s` 个独立的一维 Wiener 过程的拼接，用于建模**多维连续状态空间**。 + +## 在强化学习中的应用 + +在 [[continuous-time-rl|连续时间 RL]] 中，Wiener 过程驱动环境动态中的随机性： + +``` +ds_t = drift * dt + σ(s_t) dW_t +``` + +- `dW_t` 是独立噪声增量的来源 +- `σ(s_t)` 决定噪声随状态变化的强度 +- 离散模拟时：`ΔW_j ~ N(0, Δt)` + +## 在 Ticks-to-Flows 中的角色 + +[[ticks-to-flows|Tiwari et al. (2026)]] 使用 Wiener 过程驱动两种噪声： +- **环境噪声** `dW_t`：环境转移中的固有随机性 +- **探索噪声** `dW'_t`：策略探索引入的随机性 + +## 参考 + +- [[stochastic-differential-equation|SDE]] +- [[ito-calculus|Itô 微积分]] +- [[exploratory-dynamics|探索动力学]] +- [[ticks-to-flows|Ticks to Flows]] diff --git a/concepts/wikilinks.md b/concepts/wikilinks.md new file mode 100644 index 0000000..8216987 --- /dev/null +++ b/concepts/wikilinks.md @@ -0,0 +1,19 @@ +--- +title: "Wikilinks" +created: 2026-06-03 +updated: 2026-06-03 +type: concept +tags: [wiki, markdown, linking] +status: placeholder +--- + +# Wikilinks + +> ⚠️ 占位符页面 — 待完善 + +Wikilinks（`[[page-name]]`）是本 wiki 使用的内部链接语法，源自 Obsidian 等双向链接笔记系统。核心约定： +- 目标使用 **英文 kebab-case**（如 `interaction-order`） +- 显示文本使用 `[[target|中文显示]]` 格式 +- 禁止在 Markdown 表格中使用 `[[page|text]]`（`|` 与表格列分隔符冲突） + +相关规范详见 [[SCHEMA]]。 diff --git a/concepts/world-model-lecun.md b/concepts/world-model-lecun.md new file mode 100644 index 0000000..d082411 --- /dev/null +++ b/concepts/world-model-lecun.md @@ -0,0 +1,63 @@ +--- +title: "LeCun 世界模型理论" +created: 2026-06-08 +updated: 2026-06-08 +type: concept +tags: [world-model, LeCun, JEPA, planning, representation-learning] +sources: [raw/articles/lecun-llm-boundary-future-2026.md] +--- + +# LeCun 世界模型理论 + +> "从非常宽泛的层面来讲，世界模型是一种能让智能体系统预测自身行动后果的事物。" — Yann LeCun + +与 [[internal-world-model|涌现式世界模型]]（CTM等）和生成式世界模型（Dreamer/Sora）不同，LeCun 的世界模型理论强调在**抽象表征空间**中预测、服务于规划与决策。 + +## 核心定义 + +- 重心不在"生成"，在"**预测后果**" +- 服务于规划与决策，而非重建观测 +- 无法预测自身行动后果的系统 ≠ 真正意义上的 Agent + +## 理论基础 + +### 水瓶类比 + +推无盖水瓶底部→滑动；推顶部→可能翻倒。但你**无法精确预测倒向何方**。 + +两层深层逻辑： +1. **不可约不确定性**：倒向取决于微观摩擦、空气扰动、液体湍流——认知上不可压缩的复杂性 +2. **维度诅咒**：256×256 RGB = 196,608维，而语义表征仅~192维。像素空间极度稀疏、多模态、不连续。 + +**信息论视角**：$H(pixel|context)$ 极高（不确定），$H(state|context)$ 低且结构化——后者才是可靠的预测着力点。 + +### 认知科学佐证 + +人类心智不做"像素级心理渲染"——你知道"瓶子会倒"，但大脑不生成瓶身每个反光点的精确 RGB 值。JEPA 正是对这一生物直觉的模拟。 + +## 生成式 vs JEPA：关键分叉 + +| 路线 | 训练目标 | 核心问题 | +|------|---------|---------| +| 生成式 (Dreamer/Sora/Genie) | 像素重建 | 浪费容量于噪声，因果混淆，规划无能 | +| JEPA (I-JEPA/V-JEPA/LeWorldModel) | 潜在空间预测 | 需防[[representation-collapse|表征坍缩]] | + +**MAE 作为失败案例**：LeCun 直接指出 FAIR 的掩码自编码器项目"结果非常令人失望"——像素重建不适用于世界模型。 + +## 与 [[objective-driven-ai|目标驱动AI]] 的关系 + +世界模型是目标驱动AI的"模拟引擎"： +> 给定当前状态 + 候选动作 → 预测未来状态 → 成本模块评估 → 优化搜索最优动作序列 + +## 应用领域 + +1. **机器人技术**：动作条件世界模型用于规划 +2. **工业过程控制**：喷气发动机、化工厂、发电厂——系统太复杂无法用方程建模，但可从数据训练 +3. **医疗**：病人动态、人体细胞反应预测 +4. **近期优先**：AMI Labs 将工业控制作为短期优先方向 + +## 参考 + +- [[lecun-llm-boundary-future|LeCun 论 LLM 的边界与未来架构]] +- [[jepa|JEPA]] +- [[leworldmodel|LeWorldModel]] diff --git a/concepts/world-models-rl.md b/concepts/world-models-rl.md new file mode 100644 index 0000000..f0ad08f --- /dev/null +++ b/concepts/world-models-rl.md @@ -0,0 +1,44 @@ +--- +title: "World Models in RL" +created: 2026-06-10 +updated: 2026-06-10 +type: concept +tags: ["model-based-rl", "deep-rl", "world-models", "planning"] +sources: ["[[predictive-representations-scalable-mtrl]]"] +--- + +# World Models in RL + +**World Models** 是 model-based RL 中学习环境动力学模型的范式：agent 在潜空间中学习转移函数，并利用该模型进行规划或模拟。 + +## 代表性方法 + +| 方法 | 核心 | +|------|------| +| Dreamer (Hafner et al.) | RSSM + 潜空间想象 | +| TD-MPC2 | 时差学习 + MPC 规划 | +| Newt (Hansen et al., 2026) | 大规模多任务 world model | + +## 优势 + +1. **密集监督**：预测未来状态提供丰富的学习信号 +2. **样本效率**：潜空间 rollout 减少环境交互需求 +3. **规划能力**：可以进行 lookahead 决策 + +## 代价 + +1. **计算开销**：潜空间 rollout 和规划增加 wall-clock 时间 +2. **模型误差累积**：rollout 越长，预测越不准确 +3. **超参数敏感性**：规划 horizon、rollout 次数等 +4. **实现复杂度**：需要维护 world model + policy + value + +## 核心争议 + +[[predictive-representations-scalable-mtrl|Obando-Ceron et al. (2026)]] 提出：world model 的好处**主要来自预测表征学习**，而非规划本身。MR.Q（无规划，仅预测表征）在效率和性能上均超越 Newt（world model + 规划）。 + +这暗示当前的 model-based RL 方法可能是"杀鸡用牛刀"——规划是不必要的计算负担。 + +## 参考 +- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]] +- [[model-free-rl|Model-Free RL]] +- [[predictive-representation-learning|Predictive Representation Learning]] diff --git a/concepts/zero-data-cold-start.md b/concepts/zero-data-cold-start.md new file mode 100644 index 0000000..da9f987 --- /dev/null +++ b/concepts/zero-data-cold-start.md @@ -0,0 +1,47 @@ +--- +title: "零数据冷启动 (Zero-Data Cold Start)" +created: 2026-06-14 +updated: 2026-06-14 +type: concept +tags: [data-scarcity, cold-start, llm-deployment, finance] +sources: [raw/articles/qifu-llm-finance-practice-2026.md] +--- + +# 零数据冷启动 (Zero-Data Cold Start) + +奇富科技王元描述的金融 LLM 落地的**极端数据困境**：不仅没有标注，连输入 X 都没有——XY 全部缺失，连传统的监督微调都无法启动。 + +## 典型案例 + +银行营销业务的商机挖掘场景： +- 需要提取约 100 多类标签和商机软信息 +- 业务流程变更前没有历史录音 +- 没有商机标签的 Ground Truth +- 意味着输入 X 和标签 Y 都不存在 + +## 与大模型蒸馏的叠加困难 + +即使人工造少量测试数据： +- 用主流大模型（Gemini, MiniMax 2.5/2.7）测试标签 F1 仅 70%+ +- 无法用大模型做传统蒸馏提升小模型 +- 只能从基模做 LoRA 后训练，依赖比测试数据多一个数量级的训练数据 + +## 解决方案 + +- [[multi-dimensional-synthetic-data|多维合成数据]] — 通过三维度 Prompt 多样性生成训练数据 +- [[reer-reverse-knowledge-extraction|REER 逆向知识提炼]] — 从 QA 对中反向提取知识 + +## 与常规冷启动的区别 + +| 维度 | 常规冷启动 | 零数据冷启动 | +|------|----------|------------| +| 数据存在性 | X 存在，Y 缺失 | X 和 Y 都缺失 | +| 启动方式 | 无监督/半监督/主动学习 | 全合成数据 | +| 验证难度 | 可人工标注少量验证 | 验证集也需要构造 | +| 典型领域 | 推荐系统、搜索 | 新业务流程、合规受限 | + +## 参考 + +- [[qifu-llm-finance-practice|奇富科技金融 LLM 实践]] — 来源分享 +- [[multi-dimensional-synthetic-data|多维合成数据]] — 解决方案 +- [[reer-reverse-knowledge-extraction|REER 逆向知识提炼]] — 相关知识工程方法 diff --git a/index.md b/index.md index ce44f1d..9708cfa 100644 --- a/index.md +++ b/index.md @@ -1,12 +1,25 @@ # LLM Wiki > 知识索引页面 — 自动生成 -> 最后更新：2026-05-31 | 总页面数：528 +> 最后更新：2026-06-17 | 总页面数：914 ## Concepts +- [[4d-gaussian-splatting]] — 4D 高斯泼溅 (4D Gaussian Splatting) +- [[abductive-reasoning-recommendation]] — 溯因推理 (推荐) — Abductive Reasoning in Recommendation +- [[absolute-gating]] — 绝对门控与相对门控 (Absolute vs Relative Gating) +- [[abstract-representation-space]] — 抽象表征空间 (Abstract Representation Space) - [[action-applicability]] — Action Applicability (动作合法性判定) +- [[action-consequence-prediction]] — 预测行动后果 (Action Consequence Prediction) +- [[action-decoder]] — 动作解码器 (Action Decoder) +- [[action-head-router]] — 动作头路由器 (Action Head Router) +- [[action-realization-layer]] — Action Realization Layer（动作实现层） +- [[action-routing-policy]] — 动作路由策略 (Action-Routing Policy) +- [[activation-manifold]] — Activation Manifold +- [[activation-steering]] — Activation Steering - [[active-cache-warmup]] — Active Cache Warm-up (主动缓存预热) +- [[adapter-protocol]] — 适配器协议 (Adapter Protocol) +- [[adaptive-adversary]] — 自适应对手 (Adaptive Adversary) - [[adaptive-computation-time]] — Adaptive Computation Time (ACT) - [[adaptive-harness-simplification]] — Adaptive Harness Simplification（自适应 Harness 简化） - [[additive-combinatorics]] — Additive Combinatorics（加法组合学） @@ -20,8 +33,10 @@ - [[agent-evaluation-paradigm-shift]] — Agent 评测范式转变（Paradigm Shift in Agent Evaluation） - [[agent-frameworks-to-platforms]] — Agent Frameworks to Platforms（从 Agent 框架到 Agent 平台） - [[agent-governance]] — Agent Governance（Agent 治理与安全） +- [[agent-harness]] — Agent Harness (Claw) - [[agent-harness-engineering]] — Agent Harness Engineering（Agent 执行骨架工程） - [[agent-harness-mini]] — Mini Agent Harness +- [[agent-harness-safety]] — Agent Harness Safety - [[agent-mediated-deception]] — 代理中介欺骗 (Agent-Mediated Deception) - [[agent-multidimensional-capability]] — Agent Multidimensional Capability（Agent 多维能力） - [[agent-network-memory-scope]] — Agent网络记忆范围 @@ -34,31 +49,49 @@ - [[agent-safety-evaluation]] — Agent Safety Evaluation（Agent 安全评测） - [[agent-sandbox]] — Agent Sandbox（Agent 沙箱） - [[agent-symbolic-learning]] — Agent Symbolic Learning (Agent 符号学习) +- [[agent-token-budget-optimization]] — Agent Token Budget Optimization - [[agent-verification]] — Agent Verification（Agent 验证与评估） - [[agentic-systems]] — Agentic Systems（智能体系统） - [[ai-agent-security]] — AI代理安全 - [[ai-alignment]] — AI Alignment (AI对齐) - [[ai-mathematics]] — AI and Mathematics (AI 与数学) - [[ai-safety]] — AI Safety (AI安全) +- [[aleatoric-uncertainty]] — 随机不确定性 (Aleatoric Uncertainty) +- [[algebraic-numbers-countability]] — 代数数的可数性 +- [[algorithmic-equity]] — 算法公平性 (Algorithmic Equity) - [[amortized-variational-inference]] — Amortized Variational Inference（摊销变分推断） - [[analytical-report-synthesizer]] — Analytical Report Synthesizer +- [[and-or-interactions]] — AND-OR 交互 (AND-OR Interactions) - [[anthropic-agent-evals]] — Anthropic Agent Evals - [[api-key-authentication]] — API Key 认证 (API Key Authentication) +- [[arxiv]] — arXiv - [[asynchronous-rl-llm]] — 异步强化学习与大语言模型后训练 - [[attention-entropy-collapse]] — 注意力熵崩溃 (Attention Entropy Collapse) - [[attention-sinks]] — 注意力汇 (Attention Sinks) - [[autoharness]] — AutoHarness - [[automated-theorem-proving]] — 自动定理证明 (Automated Theorem Proving, ATP) +- [[automatic-prompt-optimization]] — APO 自动提示工程 (Automatic Prompt Optimization) +- [[auxiliary-predictive-objectives]] — 辅助预测目标 (Auxiliary Predictive Objectives) - [[backtranslation-round-trip-relay]] — Backtranslation Round-Trip Relay +- [[banach-space]] — Banach 空间 (Banach Space) +- [[bare-adapter]] — Bare Adapter - [[base-table-embedding]] — Base Table Embedding +- [[bastiani-calculus]] — Bastiani 微积分 (Bastiani Calculus) - [[bayesian-attention-geometry]] — Bayesian Attention Geometry (贝叶斯注意力几何) - [[bayesian-attention-trilogy]] — Bayesian Attention Trilogy +- [[bayesian-deep-learning]] — 贝叶斯深度学习 (Bayesian Deep Learning) +- [[bayesian-nonparametric-tpp]] — 贝叶斯非参数 TPP (Bayesian Nonparametric TPP) - [[bayesian-wind-tunnels]] — Bayesian Wind Tunnels - [[belief-accumulation]] — Belief Accumulation (信念累积) - [[belief-transport]] — Belief Transport (信念传输) +- [[bellman-taylor-score-decoding]] — Bellman-Taylor 得分解码 (BTSD) - [[bidirectional-trajectory-evaluation]] — 双向轨迹评估 (Bidirectional Trajectory Evaluation) - [[binding-constraint-thesis]] — Binding-Constraint Thesis（约束瓶颈论） +- [[block-sparse-attention]] — Block-Sparse Attention Mask (分块稀疏注意力掩码) +- [[boundary-compliance]] — Boundary Compliance +- [[bounded-reuse]] — 有界复用 (Bounded Reuse) - [[bpf-syscall-interception]] — BPF系统调用拦截 +- [[btsd-ppo]] — BTSD-PPO - [[bypass-network-handle-distribution]] — Bypass Network Handle Distribution (旁路网络句柄分发) - [[cache-cold-start]] — Cache Cold-Start (缓存冷启动) - [[cache-health-observability]] — Cache Health Observability（缓存健康度可观测性） @@ -68,6 +101,9 @@ - [[caddy-web-server]] — Caddy Web Server - [[capability-control-tradeoff]] — Capability-Control Tradeoff（能力-控制权衡） - [[capability-degradation]] — 能力退化 (Capability Degradation) +- [[catastrophic-forgetting]] — 灾难性遗忘 (Catastrophic Forgetting) +- [[causal-decomposition-pomg]] — 因果分解 (Causal Decomposition in POMG) +- [[causal-information-flow]] — Causal Information Flow - [[cel-shading-style]] — 赛璐璐风格 (Cel-Shading) - [[centralized-agent-architecture]] — 集中式Agent架构 - [[certainty-based-loss]] — Certainty-Based Loss @@ -77,9 +113,13 @@ - [[chaitin-constant]] — 蔡廷常数 Ω (Chaitin's Constant) - [[cl-bench-life]] — CL-Bench Life - [[classifier-free-guidance-language]] — Classifier-Free Guidance for Language +- [[claw-swe-bench-lite]] — Claw-SWE-Bench Lite - [[clawless]] — ClawLess +- [[clean-conditioning-mask]] — 清洁条件掩码 (Clean-Conditioning Mask) +- [[clinical-ai]] — 临床人工智能 (Clinical AI) - [[coarse-grained-counting]] — 粗粒度计数 (Coarse-grained Counting) - [[coarse-to-fine-granularity]] — Coarse-to-Fine Granularity +- [[coconut]] — COCONUT: 连续潜空间推理 - [[code-as-harness]] — Code as Harness - [[cognitive-architecture]] — Cognitive Architecture (认知架构) - [[compiled-ai-paradigm]] — Compiled AI Paradigm (编译型 AI 范式) @@ -89,9 +129,14 @@ - [[computability-theory]] — 可计算性理论 (Computability Theory) - [[computer-use-agents]] — Computer Use Agents (CUAs) - [[computerized-adaptive-testing]] — Computerized Adaptive Testing (CAT) +- [[concept-lattice]] — 概念格 (Concept Lattice) +- [[concept-learning]] — 概念学习：几何视角 (Concept Learning: Geometric View) +- [[conditional-intensity-function]] — 条件强度函数 (Conditional Intensity Function) - [[conditional-model-dispatcher]] — Conditional Model Dispatcher - [[confidence-correctness-alignment]] — 置信度-正确性对齐 (Confidence-Correctness Alignment) - [[consistency-logic]] — 一致性 (Consistency, 逻辑学) +- [[content-grounded-retrieval]] — Content-Grounded Retrieval — Faithfulness as First Principle +- [[content-question-answering]] — Content Question Answering (CQA) - [[context-blue-clique]] — Context Blue Clique（上下文蓝色团） - [[context-compression]] — Context Compression（上下文压缩） - [[context-drift]] — Context Drift（上下文漂移） @@ -101,35 +146,57 @@ - [[context-misuse]] — 上下文误用 (Context Misuse) - [[context-pruning]] — Context Pruning (上下文剪枝) - [[context-state-estimation]] — Context as State Estimation（上下文作为状态估计） +- [[continual-learning]] — 持续学习 (Continual Learning) +- [[continuation-value-function]] — 延续价值函数 (Continuation Value Function) - [[continuous-diffusion-language-models]] — Continuous Diffusion Language Models +- [[continuous-representation]] — 连续表征 (Continuous Representation) - [[continuous-thought-machine]] — Continuous Thought Machine (CTM) +- [[continuous-time-rl]] — 连续时间强化学习 (Continuous-Time RL) - [[continuum-hypothesis]] — 连续统假设 (Continuum Hypothesis, CH) +- [[control-affine-mdp]] — 控制仿射 MDP (Control-Affine MDP) - [[controlled-autonomy]] — Controlled Autonomy (受控的自主性) +- [[controlled-text-generation]] — Controlled Text Generation +- [[cost-aware-benchmarking]] — 代价感知基准评测 (Cost-Aware Benchmarking) - [[cost-quality-speed-trilemma]] — Cost-Quality-Speed Trilemma（成本-质量-速度三元悖论） +- [[countable-uncountable-infinity]] — 可数与不可数无穷 - [[covariance-matrix]] — 协方差矩阵 (Covariance Matrix) - [[covariance-matrix-knowledge]] — 协方差矩阵知识存储 (Covariance Matrix Knowledge Storage) - [[cramer-rao-lower-bound]] — Cramér-Rao Lower Bound (CRLB) - [[crawl4ai]] — Crawl4AI - [[critical-failures]] — Critical Failures / 关键失败 +- [[critpt]] — CritPt (Critical Point Benchmark) +- [[cross-model-harness-transfer]] — Cross-Model Harness Transfer（跨模型 Harness 迁移） +- [[cross-section-synthesis]] — Cross-Section Synthesis — Information Integration Across Document Parts - [[curvine-distributed-cache]] — Curvine 云原生分布式缓存 - [[darwin-godel-machine]] — Darwin Gödel Machine (达尔文·哥德尔机) +- [[data-augmentation]] — 数据增强 (Data Augmentation) - [[data-hierarchical-governance]] — Data Hierarchical Governance (L0-L4 数据分级治理) - [[data-label-consistency]] — Data-Label Consistency (数据-标签一致性) - [[data-quality-over-scale]] — Data Quality over Scale (数据质量重于规模) - [[data-replay]] — 数据回放 (Data Replay) - [[data-slice]] — Data Slice +- [[data-wall]] — 数据墙 (Data Wall) +- [[ddcadam]] — DDCAdam (Dead-Direction-Calibrated Adam) +- [[dead-direction]] — 死方向 (Dead Direction) - [[decentralized-agent-architecture]] — 去中心化Agent架构 - [[deep-and-wide-reasoning]] — Deep-and-Wide Reasoning（深度且宽广的推理） +- [[deep-gaussian-process]] — 深度高斯过程 (Deep Gaussian Process) +- [[deep-rl-scaling]] — 扩展深度强化学习 (Scaling Deep RL) - [[deep-thinking-sft]] — Deep-Thinking SFT (深思考SFT数据) +- [[deep-variational-implicit-process]] — 深度变分隐式过程 (DVIP) +- [[deepseek-r1]] — DeepSeek-R1 - [[deepseek-v4-flash]] — DeepSeek-V4-Flash - [[deepseek-vit]] — DeepSeek-ViT - [[delegate-52]] — DELEGATE-52 - [[delegated-work]] — Delegated Work / 委托工作 - [[depth-scaling-signal-degradation]] — LLM 深度扩展与信号退化 +- [[deterministic-agent-failures]] — Deterministic Agent Failures（确定性 Agent 失败分类） - [[dgae]] — Difficulty-Balanced Group Advantage Estimation (DGAE) - [[dgpo]] — Difficulty-Aware Group Policy Optimization (DGPO) - [[diagonal-ramsey-number]] — Diagonal Ramsey Number（对角拉姆齐数） - [[diagonalization-method]] — 对角线方法 (Diagonalization Method) +- [[differentiable-token-budgeting]] — Differentiable Token Budgeting +- [[diffusion-based-tpp]] — 扩散时间点过程 (Diffusion-based TPP) - [[dime-dynamic-in-database-modeling-engine]] — DIME (Dynamic In-Database Modeling Engine) - [[discrete-diffusion-language-models]] — discrete-diffusion-language-models - [[distractor-context]] — Distractor Context / 干扰上下文 @@ -141,7 +208,10 @@ - [[domain-knowledge-reasoning]] — 领域知识推理 (Domain Knowledge Reasoning) - [[domain-specific-evaluation]] — Domain-Specific Evaluation / 领域特定评估 - [[dominant-shuffle]] — Dominant Shuffle +- [[double-descent]] — 双下降 (Double Descent) +- [[dpo]] — DPO (Direct Preference Optimization) - [[dqw]] — Difficulty-Aware Question-Level Weighting (DQW) +- [[drift-detection]] — 漂移检测 (Drift Detection) - [[dual-layer-rl]] — Dual-Layer RL (双层强化学习) - [[dual-space-rl]] — Dual Space RL (DSRL) - [[duo-attention]] — DuoAttention @@ -149,35 +219,71 @@ - [[dynamic-mode-decomposition]] — Dynamic Mode Decomposition (DMD) - [[dynamic-model-fusion]] — Dynamic Model Fusion - [[dynamic-relation-modeling]] — Dynamic Relation Modeling +- [[dynamic-weight-updates]] — Dynamic Weight Updates +- [[eluder-dimension]] — Eluder 维度 (Eluder Dimension) - [[embedded-language-flows]] — Embedded Language Flows (ELF) - [[eml-operator]] — EML 算子 (Exp-Minus-Log) +- [[emmy-noether]] — 埃米·诺特 (Emmy Noether) +- [[emotional-value-evaluation]] — 情绪价值评估 (Emotional Value Evaluation) - [[empirical-discovery-simulation]] — 经验发现与模拟 (Empirical Discovery & Simulation) - [[endogenous-reasoning]] — Endogenous Reasoning（内生推理） - [[ensemble-based-rewards]] — 集成奖励 (Ensemble-Based Rewards) +- [[environment-contract-layer]] — Environment Contract Layer（环境契约层） +- [[epistemic-uncertainty]] — 认知不确定性 (Epistemic Uncertainty) +- [[epoch-based-optimistic-mle]] — Epoch-based 乐观 MLE (Epoch-based Optimistic MLE) - [[etclovg-taxonomy]] — ETCLOVG 七层分类法 +- [[evolution-probe]] — 进化探针 (Evolution Probe) - [[evolutionary-algorithms]] — Evolutionary Algorithms (进化算法) - [[evolving-knowledge-injection]] — 进化知识注入 (Evolving Knowledge Injection) - [[execution-environment]] — Execution Environment（执行环境与沙箱） +- [[execution-fidelity]] — Execution Fidelity +- [[execution-harness]] — Execution Harness +- [[expected-calibration-error]] — 预期校准误差 (Expected Calibration Error, ECE) +- [[experience-distillation]] — 经验蒸馏 (Experience Distillation) +- [[experience-representation]] — 经验表示 (Experience Representation) +- [[exploratory-dynamics]] — 探索动力学 (Exploratory Dynamics) - [[exponential-decay-reward]] — 指数衰减奖励 (Exponential Decay Reward) +- [[fading-memory]] — 衰减记忆 (Fading Memory) +- [[faithfulness-in-ai]] — Faithfulness in AI +- [[feature-absorption]] — 特征吸收 (Feature Absorption) +- [[feature-family]] — 特征家族 (Feature Family) +- [[feature-splitting]] — 特征分裂 (Feature Splitting) - [[few-shot-learning]] — Few-Shot Learning (少样本学习) +- [[fiber-of-parametrization]] — 参数化纤维 (Fiber of Parametrization) - [[fine-grained-counting]] — 细粒度计数 (Fine-grained Counting) +- [[fisher-information-metric]] — Fisher 信息度量 (Fisher Information Metric) +- [[five-axis-positional-encoding]] — 五轴位置编码 (Five-Axis Positional Encoding) +- [[fixed-mean-gaussian-process]] — 固定均值高斯过程 (Fixed-Mean Gaussian Process) - [[flash-attention]] — FlashAttention - [[flash-attention-3]] — FlashAttention-3 +- [[flex-attention]] — FlexAttention - [[flow-matching]] — Flow Matching - [[forecasting-augmentation-taxonomy]] — Forecasting Augmentation Taxonomy +- [[formal-concept-analysis]] — 形式概念分析 (Formal Concept Analysis) - [[formal-security-model]] — 形式化安全模型 - [[formal-systems]] — 形式系统 (Formal System) - [[formal-verification]] — Formal Verification (形式化验证) - [[forward-authentication]] — 外部认证委托 (Forward Authentication) - [[fourier-filter-dynamics]] — Fourier Filter for Dynamics（Fourier Filter 动力学分解） - [[fp4-quantization-training]] — FP4 Quantization-Aware Training +- [[freetimegs]] — FreeTimeGS - [[freqmask-freqmix]] — FreqMask / FreqMix +- [[function-space-modeling]] — 函数空间建模 (Function-Space Modeling) +- [[functional-input-neural-networks]] — 函数输入神经网络 (Functional Input Neural Network) - [[furstenberg-correspondence]] — Furstenberg Correspondence Principle +- [[future-commit-cleanup]] — Future-Commit 清理 (Future-Commit Cleanup) +- [[gaussian-process]] — 高斯过程 (Gaussian Process) +- [[gene-bench]] — Gene-Bench +- [[gene-evolution-protocol]] — 基因进化协议 (GEP) +- [[gene-probe]] — 基因探针 (Gene Probe) +- [[generalization-bounds]] — 泛化界 (Generalization Bounds) - [[generation-verification-asymmetry]] — 生成-验证不对称性 (Generation-Verification Asymmetry) - [[generative-general-unification]] — Generative-General-Unification (GenAI 三支柱) - [[generative-perplexity]] — generative-perplexity +- [[generative-recommendation]] — 生成式推荐 (Generative Recommendation) - [[genetic-programming]] — Genetic Programming (遗传编程) - [[geometric-ramsey-theory]] — Geometric Ramsey Theory（几何拉姆齐理论） +- [[georg-cantor]] — 格奥尔格·康托尔 (Georg Cantor) - [[gflownet-fine-tuning]] — GFlowNet 微调 - [[glitch-art-style]] — 故障艺术 (Glitch Art) - [[global-context-hash-tree]] — Global Context Hash Tree (全局上下文哈希树) @@ -188,6 +294,7 @@ - [[gpt-image2]] — GPT-Image-2 - [[gradient-alignment]] — Gradient Alignment (PreRL) - [[gram-generative-recursive-reasoning]] — GRAM（Generative Recursive reAsoning Models） +- [[granger-causality-tpp]] — Granger 因果发现 (Granger Causality in TPP) - [[gravitino-unified-metadata]] — Gravitino 统一元数据管理 - [[greedy-context-screening]] — Greedy Context Screening（贪心上下文筛选） - [[green-tao-theorem]] — Green-Tao Theorem @@ -195,40 +302,78 @@ - [[grouped-query-attention]] — Grouped-Query Attention (GQA) - [[grpo]] — Group Relative Policy Optimization (GRPO) - [[gui-tool-hybrid-action-space]] — GUI-Tool Hybrid Action Space +- [[gumbel-softmax]] — Gumbel-Softmax 重参数化 - [[halftone-print-style]] — 半调印刷风格 (Halftone Print Style) +- [[hallucination-mitigation]] — Hallucination Mitigation in LLM Systems - [[halting-problem]] — 停机问题 (Halting Problem) +- [[hard-token]] — Hard Token - [[hardening-execution-environments]] — Hardening Execution Environments（硬化执行环境） - [[harness-as-action-verifier]] — Harness-as-Action-Verifier - [[harness-as-policy]] — Harness-as-Policy (Code as Policy) - [[harness-coupling-problem]] — Harness Coupling Problem（Harness 耦合问题） - [[harness-engineering]] — Harness Engineering +- [[harness-evolution]] — Harness Evolution（轨迹驱动的 Harness 进化） +- [[harness-model-interaction]] — Harness × Model 交互效应 +- [[harnessaudit]] — HarnessAudit - [[hars]] — HARS（调和适应保留评分） +- [[hawkes-process]] — Hawkes 过程 (Hawkes Process) - [[heavily-compressed-attention]] — Heavily Compressed Attention (HCA) - [[held-out-validation-gate]] — Held-Out Validation Gate (留出验证门) - [[heuristic-learning]] — Heuristic Learning (启发式学习) +- [[hidden-audit-channel]] — Hidden Audit Channel +- [[hidden-symmetries-neural]] — 隐藏对称性 (Hidden Symmetries) +- [[hierarchy-preservation]] — Hierarchy Preservation — Structural Knowledge for Literature Ranking - [[hilberts-program]] — 希尔伯特计划 (Hilbert's Program) +- [[honest-open-subset]] — Honest 开子集 (Honest Open Subset) +- [[hrpo]] — HRPO: Hybrid Reasoning Policy Optimization - [[human-agent-trust]] — 人机信任 (Human-Agent Trust) - [[human-centered-ai]] — Human-Centered AI (以人类为中心的 AI) - [[hybrid-attention-architecture]] — Hybrid Attention Architecture +- [[hybrid-reasoning]] — 混合推理 (Hybrid Reasoning) - [[hyperagents]] — Hyperagents (超智能体) - [[hypergraph-ramsey-number]] — Hypergraph Ramsey Number（超图拉姆齐数） +- [[hyperplane-arrangements]] — 超平面排列 (Hyperplane Arrangements) - [[identity-reference-resolution]] — 身份指代消解 (Identity Reference Resolution) - [[image-generation-prompt-design]] — 图像生成 Prompt 设计 +- [[implicit-processes]] — 隐式过程 (Implicit Processes) +- [[in-context-learning]] — 上下文学习 (In-Context Learning) - [[in-database-analytics]] — In-Database Analytics - [[inference-primitives]] — Inference Primitives (推理原语) - [[inference-time-scaling]] — Inference-Time Scaling（推理时扩展） +- [[infinite-dimensional-manifolds]] — 无限维流形 (Infinite-Dimensional Manifolds) +- [[infinite-width-limit]] — 无限宽度极限 (Infinite-Width Limit) +- [[infinity-hierarchy]] — 无穷层级体系 (Infinity Hierarchy) +- [[information-flow-control]] — Information Flow Control +- [[information-geometry]] — 信息几何 (Information Geometry) - [[input-superposition]] — Input Superposition +- [[intensity-free-modeling]] — Intensity-free 建模 +- [[interaction-based-explanation]] — 交互基解释 (Interaction-Based Explanation) +- [[interaction-generalizability]] — 交互泛化性 (Interaction Generalizability) +- [[interaction-order]] — 交互阶数 (Interaction Order) +- [[interaction-types-sft]] — SFT 中的三类交互 (Removed, Preserved, Newly Emerged) - [[interleaved-gui-tool-trajectory-scaling]] — Interleaved GUI-Tool Trajectory Scaling Pipeline - [[internal-ticks]] — Internal Ticks - [[internal-world-model]] — Internal World Model +- [[intervention-multiplier]] — Intervention Multiplier +- [[intrabench]] — IntraBench — Benchmark for Content-Grounded Literature QA +- [[intragent]] — IntrAgent — Structural-Aware Literature Reading Agent +- [[intraview]] — IntraView — Content-Grounded Literature Information Retrieval - [[intrinsic-rewards-sharpening]] — 内在奖励锐化机制 (Intrinsic Rewards Sharpening) +- [[itemic-text-alignment]] — Itemic-Text 对齐 (Itemic-Text Alignment) +- [[itemic-tokens]] — Itemic Token - [[iterative-code-refinement]] — Iterative Code Refinement (迭代代码精炼) +- [[iterative-reading]] — Iterative Reading — Progressive Information Extraction from Literature +- [[ito-calculus]] — Itô 微积分 (Itô Calculus) - [[jagged-frontier]] — Jagged Frontier / 锯齿前沿 +- [[jepa]] — JEPA (Joint Embedding Predictive Architecture) +- [[k-pass-training]] — K-Pass Training (K 遍训练) +- [[kl-order]] — KL 阶 (KL Order) - [[klein-blue]] — 克莱因蓝 (Klein Blue / IKB) - [[knowledge-adaptation]] — 知识适应 (Knowledge Adaptation) - [[knowledge-agnostic-augmentation]] — 知识无关增强 (Knowledge-Agnostic Augmentation) - [[knowledge-aware-augmentation]] — 知识感知增强 (Knowledge-Aware Augmentation) - [[knowledge-bank]] — Knowledge Bank — AI 辅助开发时代的知识管理系统 +- [[knowledge-injection]] — 知识注入 (Knowledge Injection) - [[knowledge-internalization]] — 知识内化 (Knowledge Internalization) - [[knowledge-retention]] — 知识保留 (Knowledge Retention) - [[knowledge-tree]] — 知识树 (Knowledge Tree) @@ -242,93 +387,177 @@ - [[kvcache-transfer]] — KVCache 传输与优化 - [[language-gradient]] — Language Gradient (语言梯度) - [[language-loss]] — Language Loss (语言损失) +- [[latent-reasoning]] — 潜在推理 (Latent Reasoning) +- [[latent-score-mdp]] — 潜在得分 MDP (Latent-Score MDP) - [[latent-variable-generative-model]] — Latent-Variable Generative Model（潜在变量生成模型） - [[length-extrapolation]] — 长度外推 (Length Extrapolation) +- [[leopold-kronecker]] — 利奥波德·克罗内克尔 (Leopold Kronecker) +- [[leworldmodel]] — LeWorldModel +- [[lifecycle-aware-harness]] — Lifecycle-Aware Harness（生命周期感知 Harness） - [[lifecycle-orchestration]] — Lifecycle & Orchestration（生命周期与编排） - [[linear-attention-methods]] — 线性注意力方法 (Linear Attention Methods) +- [[linear-quadratic-regulator]] — 线性二次调节器 (Linear Quadratic Regulator) +- [[linear-representation-hypothesis]] — Linear Representation Hypothesis +- [[linearized-neural-network]] — 线性化神经网络 (Linearized Neural Network) +- [[llama-factory]] — LLaMA-Factory - [[llm-applications]] — LLM 应用 +- [[llm-based-temporal-point-process]] — LLM 时间点过程 (LLM-based TPP) - [[llm-evaluation-benchmarks]] — LLM 评测基准体系 +- [[logfire]] — Logfire +- [[logical-model-interaction]] — 交互逻辑模型 (Logical Model of Interactions) - [[long-context-understanding]] — 长上下文理解 (Long-Context Understanding) - [[long-horizon-evaluation]] — Long-Horizon Evaluation / 长视界评估 +- [[lora]] — LoRA (Low-Rank Adaptation) - [[lost-in-the-middle]] — Lost in the Middle - [[lovasz-local-lemma]] — Lovász Local Lemma - [[lucas-penrose-argument]] — 卢卡斯-彭罗斯论证 (Lucas-Penrose Argument) +- [[macro-level-token-economics]] — Macro-Level Token Economics - [[mamba-ssm]] — Mamba (State Space Model) - [[manifold-constrained-hyper-connections]] — Manifold-Constrained Hyper-Connections (mHC) +- [[marked-temporal-point-process]] — 标记时间点过程 (Marked TPP) +- [[martingale-clt]] — 鞅中心极限定理 (Martingale CLT) - [[math-question-reformulation]] — 数学问题多维度改写 +- [[mathchatsync-reasoning]] — MathChatSync Reasoning - [[mathematical-pluralism]] — 数学多元主义 (Mathematical Pluralism) +- [[mathematical-priority-disputes]] — 数学优先权争议 - [[mathforge]] — MathForge 框架 - [[maze-navigation]] — 迷宫导航 (Maze Navigation) +- [[mc-dropout]] — MC Dropout (Monte Carlo Dropout) +- [[mechanistic-interpretability]] — 机制可解释性 (Mechanistic Interpretability) - [[memory-caching-rnn]] — Memory Caching (MC) +- [[meso-level-token-economics]] — Meso-Level Token Economics - [[messy-context-reasoning]] — 混乱上下文推理 (Messy Context Reasoning) - [[meta-jctrader]] — Meta-JCTrader - [[meta-learning]] — Meta-Learning (元学习) - [[metacognitive-self-modification]] — Metacognitive Self-Modification (元认知自我修改) - [[metamathematics]] — 元数学 (Metamathematics) +- [[micro-level-token-economics]] — Micro-Level Token Economics - [[million-token-context]] — Million-Token Context +- [[mineru]] — minerU — PDF-to-Markdown for Scientific Literature +- [[minimax-optimality]] — Minimax 最优性 (Minimax Optimality) - [[mixture-of-attention-schemes]] — Mixture of Attention Schemes (MoAS) - [[mixture-of-depths-attention]] — Mixture-of-Depths Attention (MoDA) - [[mixture-of-experts]] — Mixture of Experts (MoE) - [[mme-voke]] — MMEVOKE - [[model-collapse-step]] — 模型崩溃步 (Model Collapse Step, MCS) +- [[model-free-rl]] — Model-Free 强化学习 (Model-Free RL) - [[model-harness-relationship]] — Model-Harness Relationship (模型与Harness关系) +- [[model-steering]] — Model Steering - [[moe-lora]] — MoELoRA +- [[moe-lora-toolchain-conflict]] — MOE + LoRA 工具链冲突 +- [[monocular-video-to-4d]] — 单目视频到 4D (Monocular Video to 4D) - [[mqr]] — Multi-Aspect Question Reformulation (MQR) +- [[mrq-algorithm]] — MR.Q 算法 (MR.Q Algorithm) - [[multi-agent-orchestration]] — Multi-Agent Orchestration（多 Agent 编排） +- [[multi-agent-safety]] — Multi-Agent Safety +- [[multi-dimensional-synthetic-data]] — 多维合成数据 (Multi-Dimensional Synthetic Data) - [[multi-head-attention]] — Multi-Head Attention (MHA) - [[multi-head-latent-attention]] — Multi-head Latent Attention (MLA) - [[multi-hot-cross-entropy]] — Multi-hot Cross-Entropy (MCE) - [[multi-query-attention]] — Multi-Query Attention (MQA) - [[multi-solution-recovery]] — Multi-Solution Recovery（多解恢复） +- [[multi-step-planning]] — 多步规划 (Multi-Step Planning) +- [[multi-teacher-on-policy-distillation]] — Multi-Teacher On-Policy Distillation (MODPO) - [[multi-token-prediction]] — Multi-Token Prediction (MTP) - [[multi-trajectory-inference]] — Multi-Trajectory Inference（多轨迹推理） +- [[multi-turn-reasoning]] — Multi-Turn Reasoning Training (多轮推理训练) +- [[multi-view-captioning]] — 多视角字幕 (Multi-View Captioning) - [[multimodal-large-language-model]] — 多模态大语言模型 (MLLM) - [[multimodal-rag]] — 多模态 RAG (Multimodal RAG) +- [[multitask-rl]] — 多任务强化学习 (Multitask RL) - [[muon-optimizer]] — Muon Optimizer +- [[nachbin-theorem]] — Nachbin 定理 - [[native-sparse-attention]] — Native Sparse Attention (NSA) - [[negative-sample-reinforcement]] — Negative Sample Reinforcement (NSR) - [[neural-synchronization]] — Neural Synchronization as Representation +- [[neural-tangent-kernel]] — 神经正切核 (Neural Tangent Kernel) +- [[neural-temporal-point-process]] — 神经时间点过程 (Neural TPP) - [[neurida]] — NeurIDA +- [[neuroalgebraic-geometry]] — 神经代数几何 (Neuroalgebraic Geometry) +- [[neuromanifold]] — 神经流形 (Neuromanifold) - [[neuron-level-models]] — Neuron-Level Models (NLMs) - [[neuron-pairing]] — Neuron Pairing - [[neuroscience]] — Neuroscience (神经科学) - [[next-state-grounding]] — Next-State Grounding +- [[non-anticipative-functionals]] — 非预期泛函 (Non-Anticipative Functionals) - [[non-stationary-time-series]] — Non-stationary Time Series（非平稳时间序列） - [[ntk-aware-interpolation]] — NTK-aware 位置编码插值 - [[null-space]] — 零空间 (Null Space) - [[null-space-projection-knowledge]] — 零空间投影知识保留 (Null Space Projection for Knowledge Retention) +- [[objective-driven-ai]] — 目标驱动AI (Objective-Driven AI) - [[observability]] — Observability & Operations（可观测性与运维） +- [[observable-operator-model]] — 可观测算子模型 (Observable Operator Model, OOM) - [[off-policy-llm-post-training]] — Off-Policy LLM 后训练 - [[on-policy-distillation]] — On-Policy Distillation (OPD) - [[on-policy-learning-collapse]] — On-policy Learning Collapse +- [[one-pass-fine-tuning]] — One-Pass Fine-Tuning (单遍微调) +- [[onereason-bench]] — OneReason-Bench +- [[onerec]] — OneRec 生成式推荐模型族 +- [[open-telemetry]] — OpenTelemetry (OTel) +- [[openclaw]] — OpenClaw - [[optimal-gui-tool-path-selection]] — Optimal GUI-Tool Path Selection - [[osworld-mcp]] — OSWorld-MCP Benchmark +- [[output-aware-metric]] — Output-Aware Metric (OAM) +- [[pac-bayesian-bounds]] — PAC-Bayesian 泛化界 (PAC-Bayesian Bounds) - [[paley-graph]] — Paley Graph +- [[parametrization-map]] — 参数化映射 (Parametrization Map) +- [[pareto-frontier-evaluation]] — Pareto 前沿评测 (Pareto Frontier Evaluation) - [[paris-harrington-theorem]] — Paris-Harrington Theorem（巴黎-哈灵顿定理） +- [[partially-observable-markov-game]] — 部分可观测马尔可夫博弈 (Partially Observable Markov Game, POMG) - [[pass-at-k-vs-pass-k]] — Pass@k vs Pass^k（能力上限 vs 可靠性下限） +- [[patch-based-evaluation]] — Patch-Based Evaluation (基于 Patch 的评测合约) - [[path-tracing]] — 路径追踪 (Path Tracing) +- [[pdf-processing]] — PDF Processing - [[peano-arithmetic]] — 皮亚诺算术 (Peano Arithmetic, PA) +- [[perception-cognition-recommendation]] — 感知-认知推荐层次 (R0-R3) - [[perception-gap]] — 感知鸿沟 (Perception Gap) +- [[pldm]] — PLDM (Pretrained Latent Dynamics Model) +- [[poisson-process]] — 泊松过程 (Poisson Process) +- [[policy-constrained-execution]] — Policy-Constrained Execution +- [[policy-regret]] — 策略后悔 (Policy Regret) - [[policy-reincarnation]] — Policy Reincarnation +- [[polysemanticity]] — 多义性与单义性 (Polysemanticity & Monosemanticity) +- [[pomdp]] — 部分可观测马尔可夫决策过程 (POMDP) +- [[position-encoding]] — Position Encoding (位置编码) +- [[position-id-discrepancy]] — Position ID Discrepancy (位置 ID 偏差) - [[positive-sample-reinforcement]] — Positive Sample Reinforcement (PSR) +- [[post-action-configuration]] — 后动作配置 (Post-Action Configuration) +- [[post-hoc-reasoning-rl]] — 后置推理 RL (Post-Hoc Reasoning RL) - [[post-train-space-rl]] — Post-train Space Reinforcement Learning +- [[posterior-lipschitz-adversary]] — 后验李普希茨对手 (Posterior-Lipschitz Adversary) - [[practitioner-research-gap]] — Practitioner-Research Gap（从业者-研究鸿沟） - [[pre-activation-history]] — Pre-Activation History +- [[pre-hoc-reasoning-rl]] — 前置推理 RL (Pre-Hoc Reasoning RL) - [[pre-train-space-reinforcement-learning]] — Pre-train Space Reinforcement Learning (PreRL) +- [[precision-weighted-fusion]] — 精度加权融合 (Precision-Weighted Fusion) +- [[predictive-representation-learning]] — 预测表征学习 (Predictive Representation Learning) +- [[preference-log-odds]] — Preference Log-Odds +- [[preference-utility-analysis]] — Preference–Utility Analysis - [[prefill-as-a-service]] — Prefill-as-a-Service (PrfaaS) - [[prefill-decode-disaggregation]] — Prefill-Decode 分离架构 (PD Disaggregation) - [[prefix-matching]] — Prefix Matching（前缀匹配） +- [[preserved-interactions-backbone]] — 保留交互作为推理支柱 (Preserved Interactions as Inference Backbone) - [[primitive-completeness]] — Primitive Completeness (原语完备性) - [[primitive-recursive-functions]] — 原始递归函数 (Primitive Recursive Functions) - [[probabilistic-method]] — Probabilistic Method（概率方法） +- [[procedural-skill]] — 过程技能 (Procedural Skill) +- [[procedural-skill-layer]] — Procedural Skill Layer（程序技能层） - [[procedural-task-execution]] — 程序性任务执行 (Procedural Task Execution) - [[program-synthesis]] — Program Synthesis (程序合成) - [[prompt-caching]] — Prompt Caching - [[prompt-layering]] — Prompt Layering（提示分层） - [[prompt-reverse-engineering]] — 图片反推 Prompt (Prompt Reverse Engineering) - [[prompt-to-harness-evolution]] — Prompt-to-Harness Evolution（三阶段工程演进） +- [[prope]] — PRoPE (Projective Rotary Position Encoding) +- [[pydantic]] — Pydantic +- [[pydantic-ai]] — Pydantic AI +- [[pydantic-core]] — pydantic-core +- [[qlora]] — QLoRA (量化低秩适配) +- [[quadrotor-trajectory-following]] — 四旋翼轨迹跟踪 (Quadrotor Trajectory Following) - [[query-intent-analyzer]] — Query Intent Analyzer - [[question-quality-vs-quantity]] — Question Quality vs. Quantity（问题质量 vs 数量） +- [[queueing-network-control]] — 排队网络控制 (Queueing Network Control) +- [[rag]] — RAG (检索增强生成) - [[rag-systems]] — RAG 系统 - [[ramsey-context-cache]] — Ramsey Context Cache（拉姆齐上下文缓存） - [[ramsey-context-graph]] — Ramsey Context Graph（拉姆齐上下文图） @@ -339,31 +568,54 @@ - [[random-access-binding]] — Random-Access Binding (随机访问绑定) - [[random-graph-theory]] — Random Graph Theory（随机图理论） - [[real-life-context-learning]] — 真实生活上下文学习 (Real-Life Context Learning) +- [[real-log-canonical-threshold]] — 实对数典范阈值 (Real Log Canonical Threshold, RLCT) +- [[recommendation-cot]] — 推荐思维链 (Recommendation CoT) +- [[recommendation-reasoning]] — 推荐推理 (Recommendation Reasoning) - [[rectified-flows]] — Rectified Flows - [[recursive-reasoning-models]] — Recursive Reasoning Models（递归推理模型） - [[recursive-self-improvement]] — Recursive Self-Improvement (递归自我改进) +- [[reer-reverse-knowledge-extraction]] — REER 逆向知识提炼 - [[reference-gap]] — 引用鸿沟 (Reference Gap) +- [[reinforcement-learning]] — 强化学习 (Reinforcement Learning) - [[reinforcement-learning-trading]] — Reinforcement Learning Trading（强化学习交易） - [[rejected-edit-buffer]] — Rejected-Edit Buffer (拒绝编辑缓冲) +- [[rejection-sampling-fine-tuning]] — Rejection Sampling Fine-tuning (RSFT) - [[relational-graph]] — Relational Graph - [[reliable-state-long-running-agents]] — Reliable State in Long-Running Agents（长期运行中的可靠状态） +- [[rep-mt-sac]] — RepMT-SAC +- [[reparameterization-exploration]] — 重参数化探索 (Reparameterization Exploration) - [[replay-buffer-rl-llm]] — Replay Buffer 在 LLM RL 中的应用 - [[representation-alignment]] — Representation Alignment +- [[representation-collapse]] — 表征坍缩 (Representation Collapse) +- [[representation-learning-rl]] — RL中的表征学习 (Representation Learning in RL) +- [[representation-space]] — Representation Space +- [[representation-validity]] — Representation Validity +- [[resource-access-control]] — Resource Access Control - [[reverse-proxy-authentication]] — 反向代理认证 (Reverse Proxy Authentication) - [[reward-hacking-llm]] — LLM 奖励黑客 (Reward Hacking in LLMs) - [[reward-model]] — 奖励模型 (Reward Model, RM) - [[reward-recency-sampling]] — 奖励-最近度混合采样 +- [[richard-dedekind]] — 里夏德·狄德金 (Richard Dedekind) - [[risograph-print-style]] — Riso 印刷风格 (Risograph Print Style) +- [[rlhf]] — RLHF (Reinforcement Learning from Human Feedback) - [[rlvr-unified-framework]] — RLVR 统一理论框架 - [[rolling-kv-cache]] — 滚动 KV 缓存 (Rolling KV Cache) - [[rotary-position-embedding]] — 旋转位置编码 (RoPE) +- [[rough-path-theory]] — 粗糙路径理论 (Rough Path Theory) - [[round-trip-reconstruction-score]] — Round-Trip Reconstruction Score (RS@k) - [[rule-system-application]] — 规则系统应用 (Rule System Application) +- [[runtime-harness-adaptation]] — Runtime Harness Adaptation（运行时骨架适配） +- [[runtime-interface-adaptation]] — Runtime Interface Adaptation（运行时接口适配） - [[russells-paradox]] — 罗素悖论 (Russell's Paradox) - [[russian-constructivism]] — 俄国构成主义 (Russian Constructivism) - [[s-token]] — S-Token (Superposed Token) +- [[safety-adherence-rate]] — Safety Adherence Rate +- [[scaling-permutation-symmetry]] — 缩放与置换对称性 (Scaling & Permutation Symmetries) +- [[scientific-literature-qa]] — Scientific Literature QA — Question Answering over Research Papers - [[sde-sampler-language]] — SDE Sampler for Language Diffusion +- [[se3-relative-camera-encoding]] — SE(3) 相对相机编码 - [[searcher-trainer-decoupling]] — Searcher-Trainer 解耦架构 +- [[section-ranking]] — Section Ranking — Structure-Aware Literature Section Prioritization - [[secure-containers]] — 安全容器 - [[seer-attention]] — SeerAttention - [[self-conditioning]] — Self-Conditioning @@ -373,122 +625,223 @@ - [[self-reference]] — 自指 (Self-Reference) - [[self-verification-rewards]] — 自我验证奖励 (Self-Verification Rewards) - [[semantic-equivalence]] — Semantic Equivalence / 语义等价 +- [[semi-algebraic-set]] — 半代数集 (Semi-algebraic Set) +- [[sequence-packing]] — Sequence Packing (序列打包) +- [[set-theory-history]] — 集合论史 +- [[sft-denoising-stage]] — SFT 去噪阶段 (SFT Denoising Stage) +- [[sft-early-stopping]] — SFT 早停策略 (SFT Early Stopping) - [[shadow-calling]] — Shadow Calling (影子调用) +- [[shapley-values]] — Shapley 值 (Shapley Values) - [[shared-parameter-influence]] — Shared Parameter Influence - [[shared-weight-discretization]] — Shared-Weight Discretization +- [[signature]] — 签名 (Signature of Paths) +- [[sigreg]] — SIGReg (Sketch Isotropic Gaussian Regularization) +- [[singular-learning-theory]] — 奇异学习理论 (Singular Learning Theory) - [[singularity]] — Singularity (奇点) - [[sink-token]] — 汇 Token (Sink Token) - [[skill-as-external-state]] — Skill as External State (Skill 作为外部状态) - [[skill-data-flywheel]] — Skill Data Flywheel (Skill 数据飞轮) - [[skill-ecosystem]] — Skill Ecosystem (Skill 生态系统) +- [[skill-probe]] — 技能探针 (Skill Probe) - [[skillopt]] — SkillOpt - [[slow-meta-update]] — Slow/Meta Update (慢/元更新) +- [[soft-actor-critic]] — Soft Actor-Critic (SAC) +- [[soft-token]] — Soft Token - [[softmax-off-by-one]] — SoftMax-off-by-One +- [[sovereign-ai]] — 主权AI (Sovereign AI) - [[sparse-attention-patterns]] — 稀疏注意力模式 (Sparse Attention Patterns) +- [[sparse-autoencoder]] — 稀疏自编码器 (Sparse Autoencoder) - [[specialist-training-pipeline]] — Specialist Training Pipeline +- [[specialize-then-unify-rl]] — Specialize-then-Unify RL - [[specialized-rl]] — 专项强化学习 (Specialized RL) - [[specialized-sft]] — 专项监督微调 (Specialized SFT) +- [[spectral-mdp-decomposition]] — 谱 MDP 分解 (Spectral MDP Decomposition) - [[spiking-neural-networks]] — Spiking Neural Networks (SNN) +- [[split-steering]] — SPLIT Steering - [[spurious-predictability]] — Spurious Predictability - [[stage-matched-data-config]] — Stage-Matched Data Configuration (分阶段数据配置) - [[standard-agent-handoffs]] — Standard Agent Handoffs（标准化 Agent 交接） +- [[state-dependent-feasible-action-sets]] — 状态依赖可行动作集 (State-Dependent Feasible Action Sets) - [[staug]] — STAug (EMD-based Augmentation) +- [[steering-dynamics]] — Steering Dynamics +- [[steering-vector]] — Steering Vector +- [[stem-sparse-attention]] — Stem Sparse Attention +- [[stochastic-differential-equation]] — 随机微分方程 (Stochastic Differential Equation) - [[stochastic-latent-trajectory]] — Stochastic Latent Trajectory（随机潜在轨迹） - [[strategy-engineering-unification]] — Strategy-Engineering Unification (策略与工程统一) +- [[strategy-gene]] — 策略基因 (Strategy Gene) - [[structured-knowledge]] — 结构化知识 (Structured Knowledge) +- [[structured-output]] — 结构化输出 (Structured Output) - [[stub-pattern]] — Stub Pattern（轻量化桩模式） - [[subquadratic-transformer-alternatives]] — 次二次 Transformer 替代方案 +- [[sufficiency-check]] — Sufficiency Check — Explicit Hallucination Gate in Literature QA - [[sufficient-context-paradox]] — 充分上下文悖论 (Sufficient Context Paradox) +- [[superposition]] — 叠加 (Superposition) +- [[supervised-fine-tuning]] — 监督微调 (Supervised Fine-Tuning, SFT) - [[swe-bench]] — SWE-bench - [[symbolic-backpropagation]] — Symbolic Back-Propagation (符号反向传播) - [[symbolic-network]] — Symbolic Network (符号网络) - [[symbolic-regression]] — Symbolic Regression - [[synapse-model]] — Synapse Model +- [[synthetic-data]] — 合成数据 (Synthetic Data) - [[synthetic-data-qa-generation]] — Synthetic Data QA Generation (合成数据Q&A生成) - [[system-2-thinking]] — System 2 思维 - [[system-message-abuse]] — System Message Abuse（系统消息滥用） +- [[system-stability]] — System Stability - [[szemerédi-regularity-lemma]] — Szemerédi Regularity Lemma - [[tabular-foundation-models]] — Tabular Foundation Models +- [[tapestry-federated]] — Tapestry 联邦训练 +- [[task-conditioned-policy]] — 任务条件策略 (Task-Conditioned Policy) +- [[task-distribution]] — 任务分布 (Task Distribution) +- [[task-invariant-representation]] — 任务不变表征 (Task-Invariant Representation) +- [[taylor-expansion-q-function]] — Q 函数 Taylor 展开 (Taylor Expansion of Q-Function) - [[tba]] — Trajectory Balance with Asynchrony (TBA) +- [[teacher-forced-history]] — 教师强制历史 (Teacher-Forced History) - [[temporal-decay-neural]] — Temporal Decay (Neural) - [[temporal-patch-shuffle]] — Temporal Patch Shuffle (TPS) +- [[temporal-point-process]] — 时间点过程 (Temporal Point Process) +- [[temporal-rollout]] — 时间滚动展开 (Temporal Rollout) - [[terminal-bench]] — Terminal-Bench +- [[test-time-control]] — 测试时控制 (Test-Time Control) - [[test-time-scaling]] — Test-Time Scaling - [[test-time-training-rl]] — 测试时训练 RL (Test-Time Training with RL) - [[text-space-optimizer]] — Text-Space Optimizer (文本空间优化器) - [[text-vs-weight-optimization]] — Text vs Weight Optimization (文本 vs 权重优化) - [[textual-learning-rate]] — Textual Learning Rate (文本学习率) +- [[thinking-supervision-transfer]] — Thinking Supervision Transfer - [[thompson-sampling-code-search]] — Thompson Sampling Code Search - [[three-engineering-phases]] — Three Engineering Phases（三阶段工程演进） +- [[three-stage-curriculum-training]] — 三阶段课程训练 (Three-Stage Curriculum Training) - [[throughput-hypothesis]] — Throughput Hypothesis (吞吐量假说) - [[time-series-forecasting-augmentation]] — Time Series Forecasting Augmentation - [[time-variant-dynamics]] — Time-variant Dynamics（时变动力学） +- [[token-as-economic-primitive]] — Token as Economic Primitive +- [[token-duplication]] — Token Duplication (Token 复制) +- [[token-economics]] — Token Economics - [[token-efficiency]] — Token 效率 (Token Efficiency) +- [[token-market-dynamics]] — Token Market Dynamics +- [[token-position-decay]] — Token Position-Decay (TPD) +- [[token-security-economics]] — Token Security Economics - [[token-superposition-training]] — Token Superposition Training (TST) +- [[token-wise-routing]] — 逐Token路由 (Token-Wise Routing) - [[tool-bootstrapped-rft]] — Tool-Bootstrapped GUI RFT - [[tool-efficient-path-reward]] — Tool-Efficient Path Reward - [[tool-interface]] — Tool Interface & Protocol Layer（工具接口与协议层） - [[tool-registry]] — ToolRegistry +- [[tpp-applications]] — TPP 应用场景 +- [[tpp-training-methods]] — TPP 训练方法 - [[trace-native-evaluation]] — Trace-Native Evaluation（踪迹原生评估） - [[trading-lifecycle-driven-eviction]] — Trading-Lifecycle Driven Eviction (交易生命周期驱动淘汰) +- [[trajectory-auditing]] — Trajectory Auditing - [[trajectory-balance-objective]] — Trajectory Balance (TB) 目标 +- [[trajectory-regulation-layer]] — Trajectory Regulation Layer（轨迹调控层） - [[transfer-learning]] — Transfer Learning (迁移学习) - [[two-phase-pretraining]] — Two-Phase Pre-Training +- [[two-time-scale-process]] — 双时间尺度过程 (Two Time-Scale Process) +- [[type-safety-in-agents]] — Agent 类型安全 (Type Safety in Agents) +- [[typeadapter]] — TypeAdapter - [[ultradata]] — UltraData +- [[uncancelled-interaction-effects]] — 未抵消交互效应 (Uncancelled Interaction Effects) +- [[uncertainty-disparity-ratio]] — 不确定性差异比 (Uncertainty Disparity Ratio, UDR) +- [[uncertainty-equity-gap]] — 不确定性公平性差距 (Uncertainty Equity Gap, UEG) +- [[uncertainty-quantification]] — 不确定性量化 (Uncertainty Quantification) - [[unconditional-generation-latent]] — Unconditional Generation via Latent Reasoning - [[unified-rft]] — 统一拒绝采样微调 (Unified RFT) +- [[universal-approximation-theorem]] — 通用逼近定理 (Universal Approximation Theorem) - [[unsupervised-rlvr]] — 无监督可验证奖励强化学习 (URLVR) - [[update-magnitude-imbalance]] — GRPO 更新幅度不平衡 +- [[upstream-downstream-learning]] — 上游-下游学习 (Upstream-Downstream Learning) - [[userspace-kernel]] — 用户空间内核 +- [[validity-decay]] — Validity Decay - [[van-der-waerden-theorem]] — van der Waerden Theorem +- [[variational-autoencoder]] — 变分自编码器 (Variational Autoencoder, VAE) +- [[variational-linearized-laplace-approximation]] — 变分线性化 Laplace 近似 (VaLLA) - [[verification-evaluation]] — Verification & Evaluation（验证与评估） +- [[vertical-llm-knowledge-engineering]] — 垂域 LLM 知识工程 (Vertical LLM Knowledge Engineering) +- [[vicreg]] — VICReg (Variance-Invariance-Covariance Regularization) +- [[visibility-constraint]] — Visibility Constraint (可见性约束) - [[visual-primitives]] — 视觉原语 (Visual Primitives) +- [[vla-vision-language-action]] — VLA (Vision-Language-Action) +- [[watanabe-triple]] — Watanabe 三元组 (Watanabe's Triple) - [[wavemask-wavemix]] — WaveMask / WaveMix +- [[weak-revealing-condition]] — 弱揭示条件 (Weak Revealing Condition) +- [[weighted-spaces]] — 加权空间 (Weighted Spaces) - [[width-based-scaling]] — Width-Based Scaling（宽度扩展） +- [[wiener-process]] — 维纳过程 (Wiener Process) +- [[wikilinks]] — Wikilinks - [[window-attention]] — 窗口注意力 (Window Attention) +- [[world-model-lecun]] — LeCun 世界模型理论 +- [[world-models-rl]] — World Models in RL - [[worst-case-threat-model]] — 最坏情况威胁模型 - [[x-prediction-parameterization]] — x-Prediction Parameterization - [[zero-cost-proxies]] — Zero-Cost Proxies (ZCP) +- [[zero-data-cold-start]] — 零数据冷启动 (Zero-Data Cold Start) ## Papers +- [[advances-temporal-point-processes-2026]] — Advances in Temporal Point Processes: Bayesian, Neural, and LLM Approaches - [[agarwal-bayesian-attention-geometry]] — The Bayesian Geometry of Transformer Attention - [[agent-harness-engineering-survey]] — Agent Harness Engineering: A Survey - [[bartoldson-tba-2025]] — TBA: 异步轨迹平衡 — 解耦探索与学习以实现快速可扩展的 LLM 后训练 - [[behrouz-memory-caching-rnn]] — Memory Caching: RNNs with Growing Memory +- [[bellman-taylor-score-decoding]] — Bellman–Taylor Score Decoding for MDPs with State-Dependent Feasible Action Sets +- [[chen-token-economics-llm-agents]] — Token Economics for LLM Agents +- [[claw-swe-bench]] — Claw-SWE-Bench: OpenClaw 风格 Agent Harness 的代码任务基准评测 - [[clawless-ai-agent-security]] — ClawLess: AI 代理安全模型 - [[dai-mathforge-2026]] — MathForge: Harder Is Better — 难度感知GRPO与多维度问题改写 - [[darlow-ctm-2025]] — Continuous Thought Machines (CTM) +- [[dead-directions-geometric-singular-learning]] — Dead Directions: 几何奇异学习理论 - [[deepseek-v4-million-token-context]] — DeepSeek-V4: 迈向高效百万 Token 上下文智能 - [[dou-cl-bench]] — CL-bench: 上下文学习基准——首篇定义context learning范式的论文 - [[elf-embedded-language-flows]] — ELF: Embedded Language Flows +- [[flex4dhuman]] — Flex4DHuman: 灵活多视角视频扩散用于 4D 人体重建 +- [[geometric-sae-concepts]] — A Geometric View for Understanding Concept Learning and Neuron Interpretation in - [[godel-incompleteness-tutorial]] — 哥德尔不完备定理教程 +- [[goru-one-pass-to-reason-2025]] — One-Pass to Reason: 多轮推理的高效单遍微调 - [[gram-generative-recursive-reasoning-paper]] — Generative Recursive Reasoning (GRAM) - [[he-urlvr-sharpening-2026]] — How Far Can Unsupervised RLVR Scale LLM Training? - [[hunyuan-team-cl-bench-life]] — CL-Bench Life: 真实生活上下文学习基准 - [[kore-knowledge-injection]] — KORE: Knowledge-Oriented Controls for Knowledge Injection - [[laban-llms-corrupt-documents-delegate]] — LLMs Corrupt Your Documents When You Delegate - [[li-amd-human-perception]] — "Are You Sure?": Human Perception Vulnerability in LLM Agents +- [[liu-auditing-agent-harness-safety]] — Auditing Agent Harness Safety - [[liu-koopa-2023]] — Koopa: Koopman 预测器驱动的非平稳时间序列学习 - [[llm-attention-survey-2026]] — 大语言模型注意力机制全面分析 - [[lou-autoharness-2026]] — AutoHarness: LLM Agent 的自动代码 Harness 合成 +- [[ma-intragent-2026]] — IntrAgent: Content-Grounded Literature Information Retrieval +- [[maes-leworldmodel-2026]] — LeWorldModel: Stable End-to-End JEPA from Pixels +- [[minimax-policy-regret-pomg]] — Minimax-Optimal Policy Regret in Partially Observable Markov Games - [[nikolopoulos-spurious-predictability]] — Spurious Predictability in Financial Machine Learning +- [[niu-stem-causal-sparse-attention]] — Stem: Rethinking Causal Information Flow in Sparse Attention - [[odrzywolek-eml-single-operator]] — All elementary functions from a single binary operator +- [[onereason]] — OneReason: 生成式推荐中的推理能力解锁 +- [[ortega-phd-thesis]] — Uncertainty Estimation and Generalization Bounds for Modern Deep Learning - [[peng-tst-2026]] — Token Superposition Training: 高效 LLM 预训练的 Token 叠加方法 - [[pre-train-space-reinforcement-learning]] — Pre-train Space Reinforcement Learning (PreRL/DSRL) +- [[predictive-representations-scalable-mtrl]] — 预测表征驱动可扩展多任务深度强化学习 +- [[principled-uncertainty-clinical-ai]] — Principled Uncertainty in Clinical AI: Bayesian Modelling and Equity Auditing +- [[procedural-skills-to-strategy-genes]] — From Procedural Skills to Strategy Genes: Towards Experience-Driven Test-Time Ev - [[qin-prfaas-cross-datacenter]] — Prefill-as-a-Service: KVCache Goes Cross-Datacenter - [[ramsey-numbers-survey]] — 拉姆齐数的数学综述 +- [[relu-neuromanifolds-semi-algebraicity]] — ReLU 神经流形的纤维与半代数性 +- [[repmt-sac]] — Learning to Adapt: Representation-Based RL for Multi-Task Skill Transfer - [[song-agent-network-taxonomy]] — Complex networks of AI agentic systems: 拓扑-记忆-更新三层分类法 - [[streaming-llm]] — StreamingLLM: 基于注意力汇的高效流式语言模型 - [[tao-klowden-ai-mathematical-methods]] — Mathematical methods and human thought in the age of AI +- [[tarpo]] — TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimizati - [[thinking-with-visual-primitives]] — Thinking with Visual Primitives — 以视觉原语思考 +- [[ticks-to-flows]] — From Ticks to Flows: Dynamics of Neural RL in Continuous Environments - [[toolcua-optimal-gui-tool-orchestration]] — ToolCUA: Optimal GUI-Tool Path Orchestration for Computer Use Agents +- [[weighted-uat-manifolds]] — Weighted Universal Approximation of Differentiable Maps on Infinite-Dimensional - [[when-large-multimodal-models-confront-evolving-knowledge]] — When Large Multimodal Models Confront Evolving Knowledge - [[xing-trails-2024]] — Trails: Database Native Model Selection (VLDB 2024) +- [[xu-life-harness]] — Adapting the Interface, Not the Model: Runtime Harness Adaptation for Determinis +- [[xu-why-steering-works]] — Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics - [[yang-skillopt-2026]] — SkillOpt: Agent Skill 的文本空间优化器 - [[zeng-dynamic-model-slicing-2024]] — Powering In-Database Dynamic Model Slicing for Structured Data Analytics (VLDB 2 - [[zeng-neurida-2025]] — NeurIDA: Dynamic Modeling for Effective In-Database Analytics - [[zhang-hyperagents]] — Hyperagents: Self-Referential Agents with Metacognitive Self-Modification +- [[zhang-reconciling-sft-interaction-2026]] — Reconciling Contradictory Views on the Effectiveness of SFT in LLMs - [[zhao-neurdb-2025]] — NeurDB: On the Design and Implementation of an AI-powered Autonomous Database (C - [[zhou-agent-symbolic-learning-2024]] — Agent Symbolic Learning: 用符号学习实现自进化 Agent - [[zhu-moda-mixture-of-depths]] — Mixture-of-Depths Attention (MoDA) @@ -496,15 +849,19 @@ ## Articles - [[caddy-reverse-proxy-auth]] — Caddy 反向代理认证方案 +- [[cantor-stole-infinity]] — 窃取无穷的数学家 — 康托尔与狄德金的隐秘合作 - [[claw-eval]] — Claw-Eval：面向自主Agent的端到端评测框架 - [[crawl4ai-open-source-web-crawler]] — Crawl4AI：赋能AI用户的开源智能网页爬虫与数据提取工具 - [[distributed-agent-cache-sync-2026]] — 分布式Agent缓存同步：从单机到多机的Prompt Caching架构升级 - [[gpt-image2-prompt-collection]] — GPT-Image-2 绘图 Prompt 方法论与风格合集 +- [[lecun-llm-boundary-future]] — LeCun 论 LLM 的边界与未来架构 - [[lyu-model-harness-evolution-2026]] — Model与Harness的关系演进：从AutoHarness到Heuristic Learning - [[lyu-skillopt-deep-dive-2026]] — SkillOpt深度解读：自进化Agent技能的'反向传播'与工程化Continued Evolve - [[mini-agent-harness]] — 从零搭建 Mini Agent Harness - [[oppo-multimodal-data-lake]] — OPPO 多模态数据湖架构实践 - [[prompt-caching-architecture]] — Prompt Caching 架构工程手册 +- [[pydantic-three-piece-suite]] — Pydantic 三件套：从校验库到 AI 基础设施 +- [[qifu-llm-finance-practice]] — 金融行业大模型落地实践：从知识工程到后训练部署 - [[ramsey-context-construction]] — 上下文构造与拉姆齐数 - [[temporal-patch-shuffle-tps]] — 时序预测增强方法综述：从频域到 TPS - [[ultradata-l3-open-source-2026]] — UltraData：面壁智能L3数据开源与数据分级治理体系 @@ -518,36 +875,63 @@ ## Reviews -- [[toolcua-review-20260531]] — ToolCUA Review: GUI-Tool路径编排的概念网络分析 - - +- [[advances-temporal-point-processes-review-20260616]] — Review: Advances in Temporal Point Processes - [[agent-harness-engineering-review-20260523]] — Review: Agent Harness Engineering Survey -- [[agent-network-taxonomy-review-20260501]] — Agent网络三层分类法 — Review 报告 +- [[agent-network-taxonomy-review-20260501]] — agent-network-taxonomy-review-20260501 +- [[auditing-agent-harness-safety-review-20260605]] — Auditing Agent Harness Safety — Review +- [[btsd-review-20260617]] — Bellman-Taylor Score Decoding 论文集成 Review +- [[cantor-stole-infinity-2026-06-07]] — 窃取无穷的数学家 — 康托尔与狄德金的历史真相 - [[cl-bench-life-review-20260501]] — CL-Bench Life 论文集成 Review -- [[cl-bench-review-20260501]] — CL-bench 论文集成 Review +- [[cl-bench-review-20260501]] — cl-bench-review-20260501 +- [[claw-swe-bench-review-20260615]] — Claw-SWE-Bench 论文集成 Review - [[clawless-review-20260422]] — ClawLess: AI 代理安全模型 - Review 报告 - [[ctm-review-20260515]] — Continuous Thought Machines 论文集成 Review +- [[dead-directions-20260610]] — Review: Dead Directions — Geometric Singular Learning - [[delegate52-review-20260514]] — DELEGATE-52 Review - [[distributed-agent-cache-sync-review]] — Review: 分布式Agent缓存同步 - [[elf-embedded-language-flows-review-20260513]] — Review: ELF — Embedded Language Flows +- [[flex4dhuman-review-20260613]] — Review: Flex4DHuman — 无几何先验的多视角视频扩散 +- [[geometric-sae-review-20260617]] — Geometric SAE 论文集成 Review - [[godel-tutorial-review-20260428]] — 哥德尔不完备定理教程 — Review 报告 - [[hyperagents-review-20260420]] — 📚 Wiki 添加 Review 报告 - Hyperagents 论文 - [[koopa-review-20260511]] — Review: Koopa — Koopman 预测器驱动的非平稳时序学习 - [[kore-review-20260521]] — KORE Review +- [[lecun-llm-20260608]] — Review: LeCun 论 LLM 的边界与未来架构 +- [[leworldmodel-20260608]] — Review: LeWorldModel (arXiv:2603.19312) +- [[life-harness-review-20260611]] — Life-Harness — Runtime Harness Adaptation 论文 Review - [[llm-attention-survey-review-20260429]] — Review: 大语言模型注意力机制全面分析 - [[lou-autoharness-review]] — Review: AutoHarness — 自动合成代码 Harness 改进 LLM Agent - [[lyu-model-harness-review]] — Review: Model与Harness的关系演进 - [[lyu-skillopt-deep-dive-review]] — Review: SkillOpt深度解读 — 自进化Agent的'反向传播' +- [[ma-intragent-review-20260604]] — IntrAgent — Content-Grounded Literature Retrieval Review - [[mathforge-review-20260512]] — MathForge Review — 2026-05-12 +- [[minimax-policy-regret-pomg-20260610]] — Review: Minimax-Optimal Policy Regret in POMGs - [[neurida-review-20260515]] — NeurIDA 论文集成 Review +- [[one-pass-to-reason-review-20260602]] — Review: One-Pass to Reason — 多轮推理的高效单遍微调 +- [[onereason-review-20260610]] — OneReason Review — 生成式推荐的推理能力解锁 +- [[ortega-phd-review-20260617]] — Ortega PhD Thesis 集成 Review - [[peng-tst-2026-review]] — Review: Token Superposition Training +- [[predictive-representations-mtrl-20260610]] — Review: Predictive Representations for Scalable Multitask Deep RL - [[pretrain-space-rl-review-20260518]] — Review: Pre-train Space Reinforcement Learning +- [[principled-uncertainty-clinical-ai-20260610]] — Review: Principled Uncertainty in Clinical AI - [[prompt-caching-architecture-review-20260511]] — Review: Prompt Caching 架构工程手册 +- [[pydantic-three-piece-review-20260610]] — Pydantic 三件套 Review — 从校验库到 AI 基础设施 - [[ramsey-context-construction-review-20260511]] — Review: 上下文构造与拉姆齐数 - [[ramsey-numbers-survey-review-20260511]] — Review: 拉姆齐数的数学综述 +- [[relu-neuromanifolds-20260610]] — Review: ReLU Neuromanifolds — Fibers and Semi-algebraicity +- [[repmt-sac-review-20260617]] — RepMT-SAC 论文集成 Review +- [[skills-to-genes-review-20260614]] — Skills to Strategy Genes — Review 报告 +- [[stem-causal-sparse-attention-review-20260605]] — Stem: Rethinking Causal Information Flow in Sparse Attention — Review - [[streaming-llm-review-20260514]] — Review: StreamingLLM — 基于注意力汇的无限长流式语言模型 +- [[tarpo-review-20260617]] — TARPO 论文集成 Review - [[tba-review-20260512]] — TBA Review — 2026-05-12 - [[thinking-with-visual-primitives-review-20260430]] — Review — Thinking with Visual Primitives +- [[ticks-to-flows-review-20260617]] — Ticks-to-Flows 论文集成 Review +- [[token-economics-review-20260605]] — Token Economics for LLM Agents — Review +- [[toolcua-review-20260531]] — ToolCUA Review: GUI-Tool路径编排的概念网络分析 - [[ultradata-l3-review]] — Review: UltraData — 大模型数据分级治理的开源实践 +- [[weighted-uat-review-20260617]] — Weighted UAT 论文集成 Review +- [[xu-why-steering-works-review-20260601]] — Review: Why Steering Works — 参数动态统一视角 - [[yang-skillopt-review]] — Review: SkillOpt — Agent Skill 的文本空间优化器 -- [[zhou-agent-symbolic-learning-review]] — Review: Agent Symbolic Learning — 符号学习驱动的自进化Agent \ No newline at end of file +- [[zhang-sft-interaction-review-20260603]] — Review: Reconciling Contradictory Views on SFT in LLMs — 交互视角 +- [[zhou-agent-symbolic-learning-review]] — Review: Agent Symbolic Learning — 符号学习驱动的自进化Agent diff --git a/log.md b/log.md index d4bdee3..391231b 100644 --- a/log.md +++ b/log.md @@ -5,6 +5,104 @@ > 操作类型：ingest, update, query, lint, create, archive, delete > 当此文件超过 500 条记录时，轮换：重命名为 log-YYYY.md，重新开始。 +## [2026-06-17] ingest | Uncertainty Estimation and Generalization Bounds for Modern Deep Learning (PhD Thesis, arXiv:2606.13818, cs.LG 2026) +- 添加论文 [[ortega-phd-thesis]]: "Uncertainty Estimation and Generalization Bounds" — PhD论文，DVIP + VaLLA + FMGP + PAC-Chernoff泛化界 +- 新增 10 个概念页: [[deep-variational-implicit-process|DVIP]], [[variational-linearized-laplace-approximation|VaLLA]], [[fixed-mean-gaussian-process|FMGP]], [[pac-bayesian-bounds|PAC-Bayesian界]], [[implicit-processes|隐式过程]], [[function-space-modeling|函数空间建模]], [[generalization-bounds|泛化界]], [[double-descent|双下降]], [[deep-gaussian-process|深度GP]], [[gaussian-process|GP]] +- UAM 博士论文，统一 Bayesian 方法 + PAC-Bayesian 理论 + 大偏差分析 +- 来源: https://arxiv.org/abs/2606.13818 + +## [2026-06-17] ingest | Learning to Adapt: Representation-Based RL for Multi-Task Skill Transfer (arXiv:2606.12890, cs.RO 2026) +- 添加论文 [[repmt-sac]]: "RepMT-SAC" — 谱 MDP 分解 + 上游-下游两阶段学习的多任务 SAC，四旋翼跟踪 +30% +- 新增 8 个概念页: [[rep-mt-sac|RepMT-SAC]], [[spectral-mdp-decomposition|谱MDP分解]], [[task-invariant-representation|任务不变表征]], [[task-conditioned-policy|任务条件策略]], [[quadrotor-trajectory-following|四旋翼轨迹跟踪]], [[upstream-downstream-learning|上游-下游学习]], [[soft-actor-critic|SAC]], [[task-distribution|任务分布]] +- Harvard SEAS + MIT，IsaacSim 验证，零样本 ID + 少样本 OOD +- 来源: https://arxiv.org/abs/2606.12890 + +## [2026-06-17] ingest | Weighted Universal Approximation of Differentiable Maps on Infinite-Dimensional Manifolds (arXiv:2606.09820, math.FA 2026) +- 添加论文 [[weighted-uat-manifolds]]: "Weighted UAT" — 无限维流形上 FNN 的加权通用逼近，含导数 +- 新增 8 个概念页: [[functional-input-neural-networks|FNN]], [[universal-approximation-theorem|UAT]], [[nachbin-theorem|Nachbin定理]], [[weighted-spaces|加权空间]], [[infinite-dimensional-manifolds|无限维流形]], [[bastiani-calculus|Bastiani微积分]], [[non-anticipative-functionals|非预期泛函]], [[signature|签名(Signature)]] +- 77页 math.FA 核心论文，首次将 UAT 从紧集扩展到加权非紧空间并包含导数逼近 +- 来源: https://arxiv.org/abs/2606.09820 + +## [2026-06-17] ingest | Bellman–Taylor Score Decoding for MDPs with State-Dependent Feasible Action Sets (arXiv:2606.10979, cs.AI 2026) +- 添加论文 [[bellman-taylor-score-decoding]]: "Bellman–Taylor Score Decoding" — Taylor 展开 Q 函数将约束 MDP 映射为潜在得分 MDP，标准 DRL 直接可用 +- 新增 8 个概念页: [[bellman-taylor-score-decoding|BTSD框架]], [[latent-score-mdp|潜在得分MDP]], [[state-dependent-feasible-action-sets|状态依赖可行动作集]], [[action-decoder|动作解码器]], [[post-action-configuration|后动作配置]], [[taylor-expansion-q-function|Q函数Taylor展开]], [[queueing-network-control|排队网络控制]], [[btsd-ppo|BTSD-PPO]], [[continuation-value-function|延续价值函数]] +- HKUST IEDA，排队网络控制验证，不需求导解码器，性能保证可分解为近似误差+学习误差 +- 来源: https://arxiv.org/abs/2606.10979 + +## [2026-06-17] ingest | A Geometric View for Understanding Concept Learning and Neuron Interpretation in Sparse Autoencoders (arXiv:2606.07007, cs.LG 2026) +- 添加论文 [[geometric-sae-concepts]]: "A Geometric View" — SAE 概念学习与神经元解释的统一几何框架，集合论 + 形式概念分析 +- 新增 12 个概念页: [[sparse-autoencoder|SAE]], [[polysemanticity|多义性/单义性]], [[mechanistic-interpretability|机制可解释性]], [[formal-concept-analysis|FCA]], [[concept-learning|概念学习(几何)]], [[feature-splitting|特征分裂]], [[feature-absorption|特征吸收]], [[feature-family|特征家族]], [[absolute-gating|绝对/相对门控]], [[hyperplane-arrangements|超平面排列]], [[concept-lattice|概念格]], [[superposition|叠加]] +- UW Paul G. Allen School，区分 concept detection / separation / approximation 三层学习，建立概念格组织多对多关系 +- 来源: https://arxiv.org/abs/2606.07007 + +## [2026-06-17] ingest | From Ticks to Flows: Dynamics of Neural RL in Continuous Environments (ICLR 2026, arXiv:2606.04275, cs.LG) +- 添加论文 [[ticks-to-flows]]: "From Ticks to Flows" — 连续时间 RL 的双时间尺度理论分析，SDE + NTK + 鞅 CLT +- 新增 12 个概念页: [[continuous-time-rl|连续时间RL]], [[stochastic-differential-equation|SDE]], [[wiener-process|维纳过程]], [[ito-calculus|Itô微积分]], [[two-time-scale-process|双时间尺度过程]], [[exploratory-dynamics|探索动力学]], [[linearized-neural-network|线性化NN]], [[infinite-width-limit|无限宽度极限]], [[neural-tangent-kernel|NTK]], [[martingale-clt|鞅CLT]], [[linear-quadratic-regulator|LQR]], [[control-affine-mdp|控制仿射MDP]] +- ICLR 2026 接收，Brown University，首次给出连续 RL 中 NN 参数梯度更新的状态分布演化方程 +- 来源: https://arxiv.org/abs/2606.04275 + +## [2026-06-17] ingest | TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization (arXiv:2606.05859, cs.CL 2026) +- 添加论文 [[tarpo]]: "TARPO" — 纯 RL 驱动的逐 token 潜在-显式混合推理框架，自适应 hard/soft 切换 +- 新增 12 个概念页: [[latent-reasoning|潜在推理]], [[coconut|COCONUT]], [[soft-token]], [[hard-token]], [[hybrid-reasoning|混合推理]], [[hrpo|HRPO]], [[token-wise-routing|逐token路由]], [[action-routing-policy|动作路由策略]], [[action-head-router|动作头路由器]], [[reparameterization-exploration|重参数化探索]], [[gumbel-softmax|Gumbel-Softmax]], [[continuous-representation|连续表征]] +- 来自南开大学 TMCC，Qwen2.5 (1.5B-7B) 和 Llama-3.1-8B 验证 +- 来源: https://arxiv.org/abs/2606.05859 + +## [2026-06-16] ingest | Advances in Temporal Point Processes: Bayesian, Neural, and LLM Approaches (TMLR, 2026 OpenReview: SXgGKkShhT) +- 添加论文 [[advances-temporal-point-processes-2026]]: "Advances in Temporal Point Processes" — TPP 综述，首篇同时覆盖 Bayesian/Neural/LLM 三大范式 +- 新增 13 个概念页: [[temporal-point-process|时间点过程]], [[conditional-intensity-function|条件强度函数]], [[hawkes-process|Hawkes 过程]], [[poisson-process|泊松过程]], [[neural-temporal-point-process|神经 TPP]], [[bayesian-nonparametric-tpp|贝叶斯非参数 TPP]], [[llm-based-temporal-point-process|LLM TPP]], [[marked-temporal-point-process|标记 TPP]], [[granger-causality-tpp|Granger 因果发现]], [[intensity-free-modeling|Intensity-free 建模]], [[diffusion-based-tpp|扩散 TPP]], [[tpp-training-methods|TPP 训练方法]], [[tpp-applications|TPP 应用场景]] +- 全新领域：时间点过程——此前 wiki 未覆盖 +- 来源: https://openreview.net/forum?id=SXgGKkShhT + +## [2026-06-15] ingest | Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks (arXiv:2606.12344, cs.LG/cs.CL 2026) +- 添加论文 [[claw-swe-bench]]: "Claw-SWE-Bench" — 将 agent harness 作为受控实验变量的多语言 SWE-bench 风格评测，附代价感知的 Pareto 前沿分析 +- 新增 11 个概念页: [[agent-harness|Agent Harness]], [[adapter-protocol|Adapter Protocol]], [[bare-adapter|Bare Adapter]], [[claw-swe-bench-lite|Claw-SWE-Bench Lite]], [[cost-aware-benchmarking|Cost-Aware Benchmarking]], [[future-commit-cleanup|Future-Commit Cleanup]], [[harness-model-interaction|Harness-Model Interaction]], [[openclaw|OpenClaw]], [[pareto-frontier-evaluation|Pareto Frontier Evaluation]], [[patch-based-evaluation|Patch-Based Evaluation]], [[swe-bench|SWE-bench]] +- 关键发现: adapter 设计从 19.1% → 73.4% Pass@1；Harness 选择产生至多 27.4 pp 差距；准确率相似时代价可差 170 倍 +- 来源: https://arxiv.org/abs/2606.12344 + +## [2026-06-14] ingest | 金融行业大模型落地实践：从知识工程到后训练部署 (DataFun, 王元/奇富科技, 2026 DA 上海站) +- 添加文章 [[qifu-llm-finance-practice]]: "金融行业大模型落地实践" — 通用大模型 + 高质量知识工程的金融落地范式 +- 新增 10 个概念页: [[reer-reverse-knowledge-extraction]], [[multi-dimensional-synthetic-data]], [[post-hoc-reasoning-rl]], [[pre-hoc-reasoning-rl]], [[emotional-value-evaluation]], [[moe-lora-toolchain-conflict]], [[zero-data-cold-start]], [[vertical-llm-knowledge-engineering]], [[automatic-prompt-optimization]] +- 来源: https://mp.weixin.qq.com/s/UnA-OLSc0mVqe7KyBX7yJw + +## [2026-06-14] ingest | From Procedural Skills to Strategy Genes: Towards Experience-Driven Test-Time Evolution (arXiv:2604.15097v2, cs.SE/cs.CL 2026) +- 添加论文 [[procedural-skills-to-strategy-genes]]: "From Procedural Skills to Strategy Genes" — 经验表示层面对比分析：文档导向 Skill vs 控制导向 Gene +- 新增 12 个概念页: [[strategy-gene]], [[procedural-skill]], [[gene-evolution-protocol]], [[test-time-control]], [[experience-representation]], [[skill-probe]], [[gene-probe]], [[evolution-probe]], [[experience-distillation]], [[bounded-reuse]], [[gene-bench]], [[critpt]] +- 来源: https://arxiv.org/abs/2604.15097 + +## [2026-06-13] ingest | Flex4DHuman: Flexible Multi-view Video Diffusion for 4D Human Reconstruction (arXiv:2606.13655, cs.CV 2026) +- 添加论文 [[flex4dhuman]]: "Flexible Multi-view Video Diffusion for 4D Human Reconstruction" — 无显式几何先验的多视角视频扩散，仅通过相对相机位姿编码实现单目到 4D +- 新增 11 个概念页: [[five-axis-positional-encoding]], [[se3-relative-camera-encoding]], [[prope]], [[clean-conditioning-mask]], [[three-stage-curriculum-training]], [[temporal-rollout]], [[teacher-forced-history]], [[multi-view-captioning]], [[monocular-video-to-4d]], [[4d-gaussian-splatting]], [[freetimegs]] +- 来源: https://arxiv.org/abs/2606.13655 + +## [2026-06-11] ingest | Life-Harness: Runtime Harness Adaptation for Deterministic LLM Agents (arXiv:2605.22166, 2026) +- 添加论文 [[xu-life-harness]]: "Adapting the Interface, Not the Model" — 生命周期感知的 Runtime Harness 适配，四层架构在不更新模型权重下提升确定性 Agent +- 新增 10 个概念页: [[runtime-harness-adaptation]], [[runtime-interface-adaptation]], [[lifecycle-aware-harness]], [[environment-contract-layer]], [[procedural-skill-layer]], [[action-realization-layer]], [[trajectory-regulation-layer]], [[harness-evolution]], [[cross-model-harness-transfer]], [[deterministic-agent-failures]] +- 来源: https://arxiv.org/abs/2605.22166 + +## [2026-06-10] ingest | Dead Directions: Geometric Singular Learning (arXiv:2606.05957, 2026) +- 添加论文 [[dead-directions-geometric-singular-learning]]: "Dead Directions: Geometric Singular Learning" — dead direction 桥接 SLT 与信息几何，单 checkpoint 读出 Watanabe 三元组 +- 新增 8 个概念页: [[dead-direction]], [[singular-learning-theory]], [[information-geometry]], [[fisher-information-metric]], [[real-log-canonical-threshold]], [[kl-order]], [[watanabe-triple]], [[ddcadam]] +- 来源: https://arxiv.org/abs/2606.05957 + +## [2026-06-10] ingest | Representation Learning Enables Scalable Multitask Deep RL (arXiv:2606.05555, 2026) +- 添加论文 [[predictive-representations-scalable-mtrl]]: "Scalable Multitask Deep RL" — 预测表征学习（非规划）是多任务RL可扩展性的核心驱动力 +- 新增 8 个概念页: [[predictive-representation-learning]], [[mrq-algorithm]], [[multitask-rl]], [[representation-learning-rl]], [[auxiliary-predictive-objectives]], [[world-models-rl]], [[model-free-rl]], [[deep-rl-scaling]] +- 来源: https://arxiv.org/abs/2606.05555 + +## [2026-06-10] ingest | On the fibers and semi-algebraicity of ReLU neuromanifolds (arXiv:2606.02826, math.AG 2026) +- 添加论文 [[relu-neuromanifolds-semi-algebraicity]]: "ReLU Neuromanifolds" — ReLU神经流形不是半代数商，引入honest开子集概念 +- 新增 8 个概念页: [[neuromanifold]], [[neuroalgebraic-geometry]], [[semi-algebraic-set]], [[honest-open-subset]], [[hidden-symmetries-neural]], [[parametrization-map]], [[scaling-permutation-symmetry]], [[fiber-of-parametrization]] +- 来源: https://arxiv.org/abs/2606.02826 + +## [2026-06-10] ingest | Minimax-Optimal Policy Regret in Partially Observable Markov Games (arXiv:2606.02363, ICML 2026) +- 添加论文 [[minimax-policy-regret-pomg]]: "Minimax-Optimal Policy Regret in POMGs" — O(sqrt(T)) minimax 最优策略后悔，epoch-based 乐观 MLE 算法 +- 新增 12 个概念页: [[partially-observable-markov-game]], [[policy-regret]], [[eluder-dimension]], [[observable-operator-model]], [[posterior-lipschitz-adversary]], [[weak-revealing-condition]], [[causal-decomposition-pomg]], [[epoch-based-optimistic-mle]], [[minimax-optimality]], [[pomdp]], [[adaptive-adversary]], [[fading-memory]] +- 来源: https://arxiv.org/abs/2606.02363 + +## [2026-06-10] ingest | Principled Uncertainty in Clinical AI: 端到端贝叶斯建模与算法公平性审计 (arXiv:2606.09789, 2026) +- 添加论文 [[principled-uncertainty-clinical-ai]]: "Principled Uncertainty in Clinical AI" — 端到端贝叶斯不确定性建模 + 不确定性作为公平性信号 +- 新增 12 个概念页: [[epistemic-uncertainty]], [[aleatoric-uncertainty]], [[uncertainty-quantification]], [[bayesian-deep-learning]], [[expected-calibration-error]], [[uncertainty-equity-gap]], [[uncertainty-disparity-ratio]], [[precision-weighted-fusion]], [[mc-dropout]], [[algorithmic-equity]], [[clinical-ai]], [[variational-autoencoder]] +- 来源: https://arxiv.org/abs/2606.09789 @@ -23,6 +121,75 @@ + + + +## [2026-06-10] ingest | Pydantic 三件套：从校验库到 AI 基础设施 (微信公众号, 2026) +- 添加文章 [[pydantic-three-piece-suite]]: "Pydantic 三件套" — pydantic-core (Rust 引擎) + Logfire (OTel 可观测) + Pydantic AI (类型安全 Agent)，渐进路线图 +- 新增 9 个概念页: [[pydantic]], [[pydantic-core]], [[logfire]], [[pydantic-ai]], [[typeadapter]], [[open-telemetry]], [[structured-output]], [[drift-detection]], [[type-safety-in-agents]] +- 更新概念: [[agent-observability|Agent 可观测性]]（追加 Logfire/漂移检测/Pydantic 三件套引用） +- 来源: https://mp.weixin.qq.com/s/jg6lW3ObZooBsrWTGwIcRg + +## [2026-06-10] ingest | OneReason: 生成式推荐中的推理能力解锁 (arXiv:2606.06260, 2026) +- 添加论文 [[onereason]]: "OneReason" — 生成式推荐推理模型，Perception-Cognition 双支柱 + R0-R3 四层推理 + Specialize-then-Unify RL +- 新增 13 个概念页: [[onerec]], [[generative-recommendation]], [[itemic-tokens]], [[recommendation-reasoning]], [[recommendation-cot]], [[perception-cognition-recommendation]], [[onereason-bench]], [[abductive-reasoning-recommendation]], [[specialize-then-unify-rl]], [[rejection-sampling-fine-tuning]], [[multi-teacher-on-policy-distillation]], [[thinking-supervision-transfer]], [[itemic-text-alignment]] +- 更新概念: [[chain-of-thought|思维链]] +- 来源: https://arxiv.org/abs/2606.06260 + +## [2026-06-08] ingest | LeWorldModel: Stable End-to-End JEPA from Pixels (arXiv:2603.19312, 2026) +- 添加论文 [[maes-leworldmodel-2026]]: "LeWorldModel" — 首个端到端 JEPA 世界模型，15M 参数，仅 2 项损失 + 1 超参 +- 新增 1 个概念页: [[pldm]] (LeWM 对比基线) +- 已有概念复用: [[leworldmodel]], [[jepa]], [[sigreg]], [[representation-collapse]], [[world-model-lecun]], [[abstract-representation-space]] +- 来源: https://arxiv.org/abs/2603.19312 + +## [2026-06-08] ingest | LeCun 论 LLM 的边界与未来架构 (Datawhale, 2026) +- 添加文章 [[lecun-llm-boundary-future]]: "LeCun 论 LLM 的边界与未来架构" — 系统梳理 LeCun 对 LLM 未来方向的 8 大核心判断 +- 新增 14 个概念页: [[jepa]], [[world-model-lecun]], [[vla-vision-language-action]], [[objective-driven-ai]], [[representation-collapse]], [[sigreg]], [[tapestry-federated]], [[sovereign-ai]], [[vicreg]], [[leworldmodel]], [[action-consequence-prediction]], [[multi-step-planning]], [[abstract-representation-space]], [[data-wall]] +- 来源: https://mp.weixin.qq.com/s/Zau10ioTWzhj0KOImpasNg + +## [2026-06-07] ingest | 窃取无穷的数学家 (Quanta Magazine / 环球科学 2026) +- 添加文章 [[cantor-stole-infinity]]: "窃取无穷的数学家" — 康托尔1874年论文隐藏狄德金贡献的历史真相 +- 新增 9 个概念页: [[georg-cantor]], [[richard-dedekind]], [[infinity-hierarchy]], [[countable-uncountable-infinity]], [[algebraic-numbers-countability]], [[emmy-noether]], [[leopold-kronecker]], [[mathematical-priority-disputes]], [[set-theory-history]] +- 来源: https://mp.weixin.qq.com/s/xJwwHWAbBsS8NWiNeLbtNQ (原刊 Quanta Magazine: The Man Who Stole Infinity) +## [2026-06-05] ingest | Stem: Rethinking Causal Information Flow in Sparse Attention (arXiv:2603.06274, 2026) +- 添加论文 [[niu-stem-causal-sparse-attention]]: "Stem: Rethinking Causal Information Flow in Sparse Attention" — 从因果信息流视角重新思考稀疏注意力，TPD+OAM 双组件 +- 新增 4 个概念页: [[stem-sparse-attention]], [[causal-information-flow]], [[token-position-decay]], [[output-aware-metric]] +- 来源: https://arxiv.org/abs/2603.06274 + +## [2026-06-05] ingest | Token Economics for LLM Agents: A Dual-View Study from Computing and Economics (arXiv:2605.09104, 2026) +- 添加论文 [[chen-token-economics-llm-agents]]: "Token Economics for LLM Agents" — 首个 Token Economics 综述, 四维分类法 (Micro/Meso/Macro/Security) +- 新增 9 个概念页: [[token-economics]], [[token-as-economic-primitive]], [[micro-level-token-economics]], [[meso-level-token-economics]], [[macro-level-token-economics]], [[token-security-economics]], [[agent-token-budget-optimization]], [[differentiable-token-budgeting]], [[token-market-dynamics]] +- 来源: https://arxiv.org/abs/2605.09104 +- GitHub: https://github.com/SuDIS-ZJU/Token-Economics + +## [2026-06-05] ingest | Auditing Agent Harness Safety (arXiv:2605.14271, 2026) +- 添加论文 [[liu-auditing-agent-harness-safety]]: "Auditing Agent Harness Safety" — Agent 骨架安全三层审计框架 +- 新增 13 个概念页: [[agent-harness-safety]], [[harnessaudit]], [[boundary-compliance]], [[execution-fidelity]], [[system-stability]], [[trajectory-auditing]], [[multi-agent-safety]], [[information-flow-control]], [[resource-access-control]], [[safety-adherence-rate]], [[policy-constrained-execution]], [[execution-harness]], [[hidden-audit-channel]] +- 来源: https://arxiv.org/abs/2605.14271 + +## [2026-06-04] ingest | IntrAgent: An LLM Agent for Content-Grounded Information Retrieval through Literature Review (arXiv:2604.22861, 2026) +- 添加论文 [[ma-intragent-2026]]: "IntrAgent" — 内容锚定的文献信息检索Agent，两阶段管道：Section Ranking + Iterative Reading，13.2% accuracy gain +- 新增 15 个概念页: [[intraview]], [[intragent]], [[section-ranking]], [[iterative-reading]], [[hierarchy-preservation]], [[sufficiency-check]], [[intrabench]], [[content-grounded-retrieval]], [[scientific-literature-qa]], [[mineru]], [[hallucination-mitigation]], [[cross-section-synthesis]], [[content-question-answering]], [[faithfulness-in-ai]], [[pdf-processing]] +- 来源: https://arxiv.org/abs/2604.22861 +- 代码: https://github.com/FengboMa/IntrAgent | 数据集: https://huggingface.co/datasets/IntrAgent/IntraBench + +## [2026-06-03] ingest | Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective (arXiv:2605.17967, 2026) +- 添加论文 [[zhang-reconciling-sft-interaction-2026]]: "Reconciling Contradictory Views on SFT in LLMs" — 从交互视角揭示SFT两阶段动力学：极短去噪阶段+漫长过拟合阶段 +- 新增 10 个核心概念页: [[interaction-based-explanation]], [[and-or-interactions]], [[interaction-types-sft]], [[sft-denoising-stage]], [[interaction-generalizability]], [[uncancelled-interaction-effects]], [[interaction-order]], [[logical-model-interaction]], [[sft-early-stopping]], [[preserved-interactions-backbone]] +- 新增 6 个占位符概念: [[supervised-fine-tuning]], [[rlhf]], [[dpo]], [[shapley-values]], [[catastrophic-forgetting]], [[in-context-learning]] +- 来源: https://arxiv.org/abs/2605.17967 +## [2026-06-02] ingest | One-Pass to Reason: Token Duplication and Block-Sparse Mask for Efficient Fine-Tuning on Multi-Turn Reasoning (arXiv:2504.18246, ICML 2025 Workshop) +- 添加论文 [[goru-one-pass-to-reason-2025]]: "One-Pass to Reason — 多轮推理的高效单遍微调" — Token复制+分块稀疏注意力掩码，将多轮推理训练从O(N³)降至O(N²)，1.05×–1.22×加速 +- 新增 8 个概念页: [[one-pass-fine-tuning]], [[token-duplication]], [[block-sparse-attention]], [[multi-turn-reasoning]], [[visibility-constraint]], [[position-id-discrepancy]], [[k-pass-training]], [[mathchatsync-reasoning]] +- 来源: https://arxiv.org/abs/2504.18246 +- 代码: https://github.com/devrev/One-Pass-to-Reason + +## [2026-06-01] ingest | Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics (arXiv:2602.02343, 2026) +- 添加论文 [[xu-why-steering-works]]: "Why Steering Works — 语言模型参数动态的统一视角" — 统一动态权重更新框架，Preference-Utility 解耦分析，激活流形假说，SPLIT 联合优化方法 +- 新增 16 个概念页: [[dynamic-weight-updates]], [[preference-utility-analysis]], [[activation-manifold]], [[validity-decay]], [[steering-dynamics]], [[split-steering]], [[preference-log-odds]], [[intervention-multiplier]], [[representation-validity]], [[lora]], [[activation-steering]], [[linear-representation-hypothesis]], [[model-steering]], [[steering-vector]], [[controlled-text-generation]], [[representation-space]] +- 来源: https://arxiv.org/abs/2602.02343 +- 代码: https://github.com/zjunlp/EasyEdit/blob/main/examples/SPLIT.md + ## [2026-05-31] ingest | ToolCUA: Optimal GUI-Tool Path Orchestration (arXiv:2605.12481, 2026) - 添加论文 [[toolcua-optimal-gui-tool-orchestration]]: "ToolCUA: 面向CUA的最优GUI-Tool路径编排" — 通过合成数据+分阶段RL学习GUI-Tool杂交动作空间的最优切换策略 - 新增 8 个概念页: [[computer-use-agents]], [[gui-tool-hybrid-action-space]], [[optimal-gui-tool-path-selection]], [[interleaved-gui-tool-trajectory-scaling]], [[tool-bootstrapped-rft]], [[tool-efficient-path-reward]], [[osworld-mcp]], [[next-state-grounding]] @@ -97,19 +264,11 @@ ## [2026-05-23] ingest | Generative Recursive Reasoning (GRAM) (arXiv:2605.19376, 2026) - 添加论文 [[gram-generative-recursive-reasoning-paper]]: "Generative Recursive Reasoning" — 将确定性递归推理升级为概率性多轨迹计算（Baek, Jo, Kim, Ren, Bengio, Ahn; KAIST/Mila/NYU/UdeM） -- 新增 11 个概念页: [[recursive-reasoning-models]], [[gram-generative-recursive-reasoning]], [[stochastic-latent-trajectory]], [[multi-trajectory-inference]], [[inference-time-scaling]], [[width-based-scaling]], [[latent-variable-generative-model]], [[amortized-variational-inference]], [[deep-and-wide-reasoning]], [[multi-solution-recovery]], [[unconditional-generation-latent]] -- 来源: https://arxiv.org/abs/2605.19376 -- Wiki 规模: 406 → 418 页 +- 新增 11 个概念页: [[recursive-reasoning-models]], [[gram-generative-recursive-reasoning]], [[stochastic-latent-trajectory]], [[multi-trajectory-inference]], [[inference-time-scaling]], [[width-based-scaling]], [[latent-variable-generative-model]], [[amortized-variational-inference]], [[ -## [2026-05-23] ingest | Claw-Eval：面向自主Agent的端到端评测框架（ModelScope） -- 添加文章 [[claw-eval]]: "Claw-Eval" — 300 人工验证任务、Completition/Safety/Robustness 三维护评分、14 前沿模型评测 -- 新增 9 个概念页: [[agent-evaluation-paradigm-shift]], [[agent-process-evaluation]], [[pass-at-k-vs-pass-k]], [[agent-safety-evaluation]], [[agent-robustness-evaluation]], [[agent-capability-stability-gap]], [[question-quality-vs-quantity]], [[agent-multidimensional-capability]], [[agent-completion-evaluation]] -- 来源: https://mp.weixin.qq.com/s/4oY35c9SmweJ4Vi0KztVOA (ModelScope 公众号) -- Wiki 规模: 396 → 406 页 +... [OUTPUT TRUNCATED - 1068 chars omitted out of 51068 total] ... -## [2026-05-23] ingest | Agent Harness Engineering: A Survey (TMLR 2026, under review) -- 添加论文 [[agent-harness-engineering-survey]]: "Agent Harness Engineering: A Survey" — 提出 ETCLOVG 七层分类法、170+ 开源项目映射、跨层综合与五大开放问题 -- 新增 21 个概念页: [[agent-harness-engineering]], [[etclovg-taxonomy]], [[execution-environment]], [[tool-interface]], [[context-management]], [[lifecycle-orchestration]], [[observability]], [[verification-evaluation]], [[governance-security]], [[cost-quality-speed-trilemma]], [[capability-control-tradeoff]], [[harness-coupling-problem]], [[binding-constraint-thesis]], [[prompt-to-harness-evolution]], [[trace-native-evaluation]], [[standard-agent-handoffs]], [[adaptive-harness-simplification]], [[hardening-execution-environments]], [[reliable-state-long-running-agents]], [[context-state-estimation]], [[agent-frameworks-to-platforms]] +, [[lifecycle-orchestration]], [[observability]], [[verification-evaluation]], [[governance-security]], [[cost-quality-speed-trilemma]], [[capability-control-tradeoff]], [[harness-coupling-problem]], [[binding-constraint-thesis]], [[prompt-to-harness-evolution]], [[trace-native-evaluation]], [[standard-agent-handoffs]], [[adaptive-harness-simplification]], [[hardening-execution-environments]], [[reliable-state-long-running-agents]], [[context-state-estimation]], [[agent-frameworks-to-platforms]] - 来源: 用户上传 PDF（用户 o9cq80wQvcn_qxHaHlEso2Bn3qoU@im.wechat） - Wiki 规模: 373 → 395 页 @@ -231,7 +390,7 @@ ## [2025-04-15] ingest | Mathematical methods and human thought in the age of AI - 来源：arXiv:2603.26524 -- 作者：[[Terence Tao]], [[Tanya Klowden]] +- 作者：[[terence-tao|Terence Tao]], [[tanya-klowden|Tanya Klowden]] - 保存至：raw/papers/tao-ai-mathematical-methods-2026.md - 创建页面： - entities/papers/tao-klowden-ai-mathematical-methods.md @@ -244,7 +403,7 @@ ## [2026-04-16] ingest | All elementary functions from a single binary operator - 来源：arXiv:2603.21852 [cs.SC] -- 作者：[[Andrzej Odrzywołek]] +- 作者：[[andrzej-odrzywolek|Andrzej Odrzywołek]] - 保存至：raw/papers/odrzywolek-eml-single-operator-2026.md - 创建页面： - papers/odrzywolek-eml-single-operator.md — EML 算子论文摘要 diff --git a/papers/advances-temporal-point-processes-2026.md b/papers/advances-temporal-point-processes-2026.md new file mode 100644 index 0000000..8ffa52e --- /dev/null +++ b/papers/advances-temporal-point-processes-2026.md @@ -0,0 +1,58 @@ +--- +title: "Advances in Temporal Point Processes: Bayesian, Neural, and LLM Approaches" +created: 2026-06-16 +updated: 2026-06-16 +type: paper +tags: [survey, temporal-point-process, bayesian, deep-learning, llm] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# Advances in Temporal Point Processes + +**作者:** Feng Zhou, Quyu Kong, Jie Qiao, Cheng Wan, Yixuan Zhang, Ruichu Cai +**发表:** TMLR, 2026年6月 +**来源:** [OpenReview](https://openreview.net/forum?id=SXgGKkShhT) | [原始存档](raw/papers/advances-temporal-point-processes-2026.md) + +## 核心问题 + +如何用统一的视角理解时间点过程（TPP）从传统统计到深度学习再到LLM时代的演进？本文是首篇同时覆盖 Bayesian、Neural、LLM 三大范式的综述，尤其弥补了 Bayesian nonparametric TPP 被忽视的历史，以及 LLM-based TPP 尚未被系统综述的空白。 + +## 方法贡献 + +论文构建了一个清晰的三维分类法： + +1. **Bayesian TPPs** — 参数化贝叶斯方法 + 非参数贝叶斯方法（GP-modulated Poisson、非参数 Hawkes） +2. **Neural TPPs** — RNN-based → Transformer-based → Diffusion-based，以及四种参数化选择（强度函数、密度函数、累积强度、逆CDF） +3. **LLM-based TPPs** — LLM-inspired（PromptTPP、LAMP）vs Direct Integration（TPP-LLM、Language-TPP） + +训练方法方面系统比较了 MLE、Wasserstein、NCE、Score Matching 四种目标函数的统计效率与计算开销。 + +## 关键发现 + +- **Neural TPP 在下一事件预测上普遍优于经典参数模型**，但在长程预测中自回归误差累积仍是瓶颈 +- **Intensity-free 参数化**（直接建模条件密度/累积强度）通常比 intensity-based 方法训练效率更高 +- **LLM-based TPP** 在语义理解任务上有优势，但在纯时间预测 benchmark 上优势不明显——研究重点正从"事件发生过程建模"转向"带时间戳事件数据理解" +- **扩散模型** 为非自回归序列生成提供了新范式，但存在时序一致性弱和训练成本高的问题 + +## 核心概念 + +- [[temporal-point-process|时间点过程]] — 建模连续时间事件序列的随机过程 +- [[conditional-intensity-function|条件强度函数]] — TPP 的核心数学工具 +- [[hawkes-process|Hawkes 过程]] — 自激励过程模型 +- [[neural-temporal-point-process|神经时间点过程]] — 深度学习驱动的 TPP +- [[bayesian-nonparametric-tpp|贝叶斯非参数 TPP]] — 灵活的非参数先验 +- [[llm-based-temporal-point-process|LLM 时间点过程]] — 大语言模型驱动的 TPP +- [[marked-temporal-point-process|标记时间点过程]] — 多类型事件 TPP +- [[granger-causality-tpp|Granger 因果发现]] — TPP 中的因果推断 +- [[intensity-free-modeling|Intensity-free 建模]] — 绕过强度积分的参数化 +- [[diffusion-based-tpp|扩散时间点过程]] — 扩散生成式 TPP +- [[tpp-training-methods|TPP 训练方法]] — MLE、NCE、Score Matching +- [[tpp-applications|TPP 应用场景]] — 社交网络、金融、神经科学 + +## 挑战与展望 + +- 数据异构性：缺乏标准化 benchmark，数据预处理差异导致不可复现 +- 模型可解释性：神经 TPP 的隐式表征难以对应物理意义 +- 可扩展性：长序列 + 连续时间积分的双重计算瓶颈 +- 采样效率：thinning 等方法需反复评估强度函数 +- 多模态建模：连续时间表征与离散模态（文本、图像）的融合仍是开放问题 diff --git a/papers/bellman-taylor-score-decoding.md b/papers/bellman-taylor-score-decoding.md new file mode 100644 index 0000000..d2e06bf --- /dev/null +++ b/papers/bellman-taylor-score-decoding.md @@ -0,0 +1,79 @@ +--- +title: "Bellman–Taylor Score Decoding for MDPs with State-Dependent Feasible Action Sets" +created: 2026-06-17 +updated: 2026-06-17 +type: paper +tags: [reinforcement-learning, operations-research, mdp, action-interface, queueing] +sources: [raw/papers/chen-bellman-taylor-score-2026.md] +confidence: high +--- + +# Bellman–Taylor 得分解码：为状态依赖可行动作集 MDP 连接标准 DRL + +> Yi Chen, Rushuai Yang, Qiang Chen, Dongyan (Lucy) Huo — HKUST, 2026 +> arXiv: [2606.10979](https://arxiv.org/abs/2606.10979) + +## 核心问题 + +运筹学中的 MDP 有**状态依赖、隐式定义的可行动作集**——由容量、兼容性和整数约束定义，不能简单枚举或嵌入欧氏空间。标准 DRL 假设固定的有限动作目录或连续欧氏空间，两者都不匹配。如何不改 DRL 算法而解决此接口不兼容？ + +## 方法论 + +### Bellman-Taylor 得分解码 + +核心思路：**标准化学习接口，而非操作动作空间**。 + +1. 对最优 Q 函数做 Taylor 展开： + ``` + Q*(s,a) ≈ ψ_s(a) + γ⟨∇G*_s(x_ref), φ_s(a)⟩ + const + ``` +2. 定义**动作解码器** `Γ(s,z) = argmax_{a∈A(s)} [ψ_s(a) + ⟨z, φ_s(a)⟩]` +3. 策略学习得分向量 z ∈ R^d（无约束欧氏空间） +4. 解码器在**前向传播**中将 z 映射为可行动作 a + +### 潜在得分 MDP + +通过解码器诱导出 `M̃ = (S, Z, P̃, r̃, γ)`： +- 动作空间从 A(s) 变为 Z ⊆ R^d +- `r̃(s,z) = r(s, Γ(s,z))` +- `P̃(s'|s,z) = P(s'|s, Γ(s,z))` + +标准 PPO 可直接在 M̃ 上训练，**无需对解码器求导**。 + +### 性能保证 + +最优性差距分解为两项： +``` +J(π*) - J(π_decode) ≤ ε_approx + ε_learn +``` +- `ε_approx`：Taylor 余项控制的**结构近似误差** +- `ε_learn`：标准 DRL 的**算法学习误差** + +### 高阶推广 + +保留 Taylor 展开的高阶项 → 更丰富的解码器特征 → 更好地逼近非线性延续价值函数。 + +## 应用：排队网络控制 + +应用于多类别多服务池排队系统： +- 策略学到**状态依赖的指数型调度规则** +- 解码器按总得分最大原则选择可行的调度动作 +- 不引入任何排队特化的方差削减技术 +- 小规模实例接近最优，大规模系统显著优于基准 + +## 关键优势 + +| 特性 | 传统方案 | BTSD | +|------|---------|------| +| 动作空间 | 需枚举/嵌入 | 欧氏得分空间 | +| 可行性 | 掩码/投影/修复 | 解码器精确保证 | +| 训练 | 需对优化层求导 | 前向解码，无需梯度 | +| 通用性 | 问题特化架构 | 同一框架适配 | + +## 参考 + +- [[bellman-taylor-score-decoding|BTSD 框架]] +- [[latent-score-mdp|潜在得分 MDP]] +- [[state-dependent-feasible-action-sets|状态依赖可行动作集]] +- [[queueing-network-control|排队网络控制]] +- 来源：[原始存档](raw/papers/chen-bellman-taylor-score-2026.md) diff --git a/papers/chen-token-economics-llm-agents.md b/papers/chen-token-economics-llm-agents.md new file mode 100644 index 0000000..9a65c80 --- /dev/null +++ b/papers/chen-token-economics-llm-agents.md @@ -0,0 +1,54 @@ +--- +title: "Token Economics for LLM Agents" +created: 2026-06-05 +updated: 2026-06-05 +type: paper +tags: [survey, token-economics, agent, efficiency, security] +sources: [arxiv:2605.09104] +--- + +# Token Economics for LLM Agents + +> Chen et al., arXiv:2605.09104 (May 2026) — 首篇 Token Economics 综述 + +## 核心命题 + +历史上每个技术时代都由其基础经济原语定义：工业时代的千瓦时（kWh）、信息时代的网络带宽（GB）。**智能时代的原语是 Token**——它不再仅仅是计算的技术单位，而是 Agentic AI 的[[token-as-economic-primitive|经济原语]]：智能的生产要素、交换媒介和计价单位。 + +## 四维分类法 + +本文提出统一的 Token Economics 框架，跨越计算机科学和经济学： + +| 层次 | 对象 | 经济学理论 | 核心问题 | +|------|------|-----------|---------| +| **Micro** | 单 Agent | 新古典企业理论 | 预算约束下的要素替代优化（推理、记忆、工具、规划） | +| **Meso** | 多 Agent 系统 | 交易成本理论 + 委托代理理论 | 协作摩擦最小化（通信、编排、记忆共享） | +| **Macro** | Agent 生态 | 机制设计理论 + 拥堵外部性 | 定价、垄断/寡头竞争、监管政策 | +| **Security** | 跨层威胁 | 外部性内部化 | 对抗攻击作为内生经济约束的成本建模 | + +## 六大趋势 (T1-T6) + +| 趋势 | 描述 | +|------|------| +| T1 | 高效 Agent 推理与系统设计 | +| T2 | 自适应和预算感知的 Token 分配 | +| T3 | 记忆作为持久资本，具有复利回报 | +| T4 | 从文本 Token 到表征 Token 交换 | +| T5 | 安全开销作为内生效率约束 | +| T6 | 更高性价比的硬件芯片 | + +## 五大前沿方向 (O1-O5) + +- **O1**: [[differentiable-token-budgeting|可微分 Token 预算]] — 使 Token 预算成为可学习参数 +- **O2**: 标准化 Benchmark 和成本归因 +- **O3**: [[token-market-dynamics|实时 Token 市场与动态定价]] +- **O4**: Agent 系统的 Token 级 Scaling Laws +- **O5**: 安全感知的 Token 预算 + +## 已有的连接 + +本文的 token 经济视角与 wiki 中已有概念紧密关联： +- [[token-efficiency|Token 效率]] 对应 Micro 层的计算和推理效率 +- [[cost-quality-speed-trilemma|成本-质量-速度三元悖论]] 对应预算约束下的权衡 +- [[token-superposition-training|TST]] 和 [[token-duplication|Token Duplication]] 是训练侧的 token 经济优化 +- [[agent-harness-safety|Agent 骨架安全]] 的安全约束可以与 Security 层的经济约束对齐 diff --git a/papers/claw-swe-bench.md b/papers/claw-swe-bench.md new file mode 100644 index 0000000..cc06c42 --- /dev/null +++ b/papers/claw-swe-bench.md @@ -0,0 +1,87 @@ +--- +title: "Claw-SWE-Bench: OpenClaw 风格 Agent Harness 的代码任务基准评测" +created: 2026-06-15 +updated: 2026-06-15 +type: paper +tags: [benchmark, coding-agent, evaluation, multi-agent] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# Claw-SWE-Bench + +## 基本信息 + +- **论文:** Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks +- **作者:** Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, Wei He, Hang Zhou, Jianyuan Guo, Hailin Hu, Lin Ma, Chao Xu, Guohao Dai, Lixue Xia, Yunchao Wei, Yunhe Wang, Yu Wang +- **机构:** TokenRhythm, Infinigence AI, CityU HK, SEE Fund, 北大, 上海交大, 北京交大, 清华 +- **arXiv:** [2606.12344](https://arxiv.org/abs/2606.12344v1) | **日期:** 2026-06-10 +- **资源:** [GitHub](https://github.com/opensquilla/claw-swe-bench) | [HuggingFace](https://huggingface.co/datasets/TokenRhythm/Claw-SWE-Bench) + +## 核心问题 + +通用 agent（如 [[openclaw|OpenClaw]]）作为自主工具使用者日益普及，但它们在真实代码任务上的能力难以用 [[swe-bench|SWE-bench]] 标准评测。通用 agent 本身不满足 SWE-bench 所需的 Docker 工作空间、patch 和预测合约。Claw-SWE-Bench 将 **agent harness（claw）** 作为受控实验变量，通过统一的 [[adapter-protocol|适配器协议]] 使异构 harness 在公平条件下可比较。 + +## 方法贡献 + +### 1. 适配器协议 (Adapter Protocol) +通过标准化的生命周期方法（`create_agent`, `send_task`, `backup_session`, `delete_agent`, `get_docker_args`）将异构 harness 连接到统一的评测管道。关键设计： +- **Full Adapter:** 让 agent 通过工具编辑仓库文件，runner 从 Git 状态导出 patch +- **Bare Adapter:** 仅最小集成，要求模型直接输出 unified diff +- Full adapter 将 Apply Failed 从 69.1% 降至 <1.5%，Pass@1 从 19.1% 提升至 73.4% + +### 2. 标准化执行管道 +- 统一 prompt 模板、3600s 超时、3 并发 worker +- [[future-commit-cleanup|Future-Commit 清理]]：对非 Python 实例移除 base_commit 之后的可达 Git 历史 +- Patch 从仓库状态收集而非从 agent 消息解析 + +### 3. Claw-SWE-Bench Lite +80-instance 低代价子集（每语言 10 个），通过 [[cost-aware-benchmarking|代价感知]]、排序感知的 17 列校准选择，保留 full-350 的 Pass@1 尺度、语言分布和代价结构。Lite 运行代价约为 full 的 22.9%。 + +## 关键发现 + +### LLM 轴变化（9 模型 × OpenClaw） +| 模型 | Pass@1 | 总 API 代价 | +|------|--------|------------| +| GPT 5.5 | 78.0% | $1,399 | +| Claude Opus 4.7 | 77.1% | $1,082 | +| GLM 5.1 | 73.4% | $277 | +| DeepSeek-V4 Pro | 71.7% | $81 | +| DeepSeek-V4 Flash | 70.3% | $8.2 | +| Qwen 3.6-flash | 66.0% | $71.5 | + +→ 模型选择产生 **29.4 pp** 的 Pass@1 差距；相似准确率对应**数量级差异**的 API 代价。 + +### Claw 轴变化（5 Claw × 2 Model） +| Claw | GLM 5.1 Pass@1 | Qwen 3.6-flash Pass@1 | +|------|----------------|----------------------| +| OpenClaw | 73.4% | 66.0% | +| Hermes-Agent | 71.1% | 62.6% | +| ZeroClaw | 70.3% | 58.3% | +| Generic Agent | 63.1% | 38.6% | +| NanoBot | 60.9% | 47.4% | + +→ Harness 选择产生 **12.5-27.4 pp** 的 Pass@1 差距，足以重排 Leaderboard。 + +### Future-Commit 清理影响 +清理后 Pass@1 从不上涨；Claude Opus 4.7 下降最多（−8.0 pp），GPT 5.5 仅下降 ~1 pp——不同模型对信息泄露的敏感度不同。 + +## 核心洞察 + +1. **Adapter 设计不是工程包装，是评分可靠性的必要条件。** Bare adapter 下 69.1% 的 patch 无法 apply，说明直接生成 unified diff 是脆弱的。 + +2. **Harness 是第一序变量。** 在固定模型下，不同 harness 的 Pass@1 差距可达 27.4 pp——如果 harness 未被控制，Leaderboard 结论可能被颠覆。 + +3. **准确率 ≠ 代价。** [[pareto-frontier-evaluation|Pareto 前沿]]分析表明，某些组合在更低代价下达到相似准确率。DeepSeek-V4 Flash 以 $8.2 达到 70.3%，GPT 5.5 以 $1,399 达到 78.0%——代价相差 170 倍。 + +4. **代价会计是第一等评测轴。** 仅报告 Resolved Rate 会奖励更长探索/更高预算的系统，掩盖更便宜但更脆弱的系统。 + +## 相关概念 +- [[adapter-protocol]] — 适配器协议的设计与实现 +- [[cost-aware-benchmarking]] — 代价感知的基准评测方法论 +- [[pareto-frontier-evaluation]] — 准确率-代价 Pareto 前沿分析 +- [[future-commit-cleanup]] — Future-commit 清理策略 +- [[patch-based-evaluation]] — 基于 patch 的评测合约 +- [[harness-model-interaction]] — Harness × Model 交互效应 +- [[claw-swe-bench-lite]] — Lite 子集的设计与验证 +- [[swe-bench]] — SWE-bench 评测体系 +- [[openclaw]] — OpenClaw 通用 agent diff --git a/papers/dead-directions-geometric-singular-learning.md b/papers/dead-directions-geometric-singular-learning.md new file mode 100644 index 0000000..e6b47ad --- /dev/null +++ b/papers/dead-directions-geometric-singular-learning.md @@ -0,0 +1,63 @@ +--- +title: "Dead Directions: 几何奇异学习理论" +created: 2026-06-10 +updated: 2026-06-10 +type: paper +tags: ["singular-learning-theory", "information-geometry", "fisher-metric", "deep-learning-theory", "optimization"] +sources: ["https://arxiv.org/abs/2606.05957"] +--- + +# Dead Directions: Geometric Singular Learning + +**Author**: Tejas Pradeep Shirodkar (IIIT Hyderabad) +**Venue**: arXiv:2606.05957v1 [cs.LG, stat.ML], 2026 | 139 pages + +## 核心问题 + +[[singular-learning-theory|奇异学习理论]]（Watanabe）和 [[information-geometry|信息几何]]（Amari）研究同一参数空间，但使用几乎不相交的词汇表： +- **SLT**：在解析坐标中计算贝叶斯不变量（需要广中平祐消解） +- **信息几何**：在原始坐标中工作，假设 Fisher 度量非退化——过参数化模型经常违反此假设 + +**鸿沟**：奇异结构的信息存在于 Watanabe 框架中，但不在实践者可用的坐标中。 + +## Dead Direction：桥接原语 + +**[[dead-direction|Dead Direction]]** 是 Fisher 度量退化方向上的单位向量——同时是 Amari 的"核逼近方向"和 Watanabe 的"解析奇异集的切向量"。 + +核心洞察：KL 阶 k 可从方向 Fisher 曲率的衰减率恢复，在原始参数坐标中，无需广中平祐消解。 + +## 三大支柱 + +### 1. 静态速率（Static Rate） +沿 dead direction，方向 Fisher 二次型满足： +``` +u^T F(theta(t)) u = Theta(t^{2(k-1)}) +``` +KL 阶 k 直接从 Fisher 特征值的衰减斜率读出。 + +### 2. 深度网络 K-FAC 分解 +多层 K-FAC 将 Fisher 块写为激活侧速率 × 梯度侧速率的乘积，二者互为对偶。实例化到现代网络原语：残差流、层归一化、注意力。 + +### 3. Gauge 商定理 +在 G-不变度量上的梯度流下，速率可传递到商空间 Theta/G： +- **SGD** 符合条件（其隐式正则化保持对称性） +- **标准 Adam 不符合** +- 构造 **[[ddcadam|DDCAdam]]**（Dead-Direction-Calibrated Adam）：G-等变的 Adam 族预条件子 + +## 实践意义 + +**从单个 checkpoint 读出 Watanabe 三元组**：通过一次前向和反向传播计算 (lambda, m, nu)，无需后验采样——这对大规模网络的实用 SLT 分析具有突破性意义。 + +## 相关概念 +- [[dead-direction|Dead Direction]] +- [[singular-learning-theory|Singular Learning Theory]] +- [[information-geometry|Information Geometry]] +- [[fisher-information-metric|Fisher Information Metric]] +- [[real-log-canonical-threshold|RLCT]] +- [[kl-order|KL Order]] +- [[watanabe-triple|Watanabe's Triple]] +- [[ddcadam|DDCAdam]] + +## 来源 +- [arXiv](https://arxiv.org/abs/2606.05957) +- [原始存档](raw/papers/shirodkar-dead-directions-2026.md) diff --git a/papers/flex4dhuman.md b/papers/flex4dhuman.md new file mode 100644 index 0000000..bc56353 --- /dev/null +++ b/papers/flex4dhuman.md @@ -0,0 +1,58 @@ +--- +title: "Flex4DHuman: 灵活多视角视频扩散用于 4D 人体重建" +created: 2026-06-13 +updated: 2026-06-13 +type: paper +tags: [computer-vision, video-generation, 3d-reconstruction, diffusion-model, human-modeling] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# Flex4DHuman: 灵活多视角视频扩散用于 4D 人体重建 + +**arXiv:** 2606.13655 · **分类:** cs.CV / cs.GR · **发布日期:** 2026-06-11 +**作者:** Jen-Hao Cheng, Yipeng Wang, Hao Zhang, Gengshan Yang (World Labs), Jenq-Neng Hwang (UW) + +## 核心问题 + +如何从单目或稀疏多视角视频中生成同步的密集多视角视频，进而重建动态 4D 资产——且不依赖人体骨骼、深度图、法线图或任何显式几何先验？ + +## 方法论 + +Flex4DHuman 将 Wan 2.1 1.3B 文本到视频 DiT 改造为多视角视频生成器，**仅通过相对相机位姿编码**来条件化生成过程： + +1. **[[five-axis-positional-encoding|五轴位置编码]]**：扩展 RoPE 为 (time, view, SE(3), h, w) 五维编码——时间轴被重新分配为时间帧索引、视角槽索引、连续 SE(3) 相机几何编码 +2. **[[se3-relative-camera-encoding|SE(3) 相对相机编码]]**：基于 [[prope|PRoPE]]，将相机位姿编码直接注入自注意力机制，无需额外可学习参数 +3. **[[clean-conditioning-mask|清洁条件掩码]]**：通过 36 通道输入（16 noisy latent + 16 clean latent + 4 mask）区分参考视图和目标视图 +4. **[[three-stage-curriculum-training|三阶段课程训练]]**： + - Stage 1: 单参考单目标，适应新位置编码 + - Stage 2: 动态参考视图数 + 背景丢弃增强 + - Stage 3: 动态时间窗口 + [[teacher-forced-history|教师强制历史]] +5. **[[temporal-rollout|时间滚动展开]]**：分块推理，每块与前一块有 O 帧重叠，历史帧作为清洁条件 +6. **[[multi-view-captioning|多视角字幕]]**：利用 Gemini 3 Flash 为每段视频生成外观描述（共 25,031 条，平均 268 词），在训练和推理时提供文本控制 + +## 关键发现 + +- **无几何先验胜有先验**：不使用骨骼/深度/法线，超越 Diffuman4D-GT-skeleton（+1.21 dB PSNR） +- **参考视角鲁棒**：四个方位角（前/右/后/左）的 PSNR 波动 <1 dB +- **视角数可扩展**：从 1→2→4 个参考视角，PSNR 从 25.21→28.62→31.90 dB 单调提升 +- **跨域泛化**：同一架构微调后支持动物类别（DFA 数据集，跨物种泛化仅降 1.8 dB） +- **零样本跨设备**：零样本 ActorsHQ 评估中，比依赖单目骨骼估计的基线高 +3.35 dB PSNR + +## 应用管线 + +单目视频 → Flex4DHuman 多视角生成 → MatAnyone2 前景分割 → [[freetimegs|FreeTimeGS]] 4D 重建 → [[4d-gaussian-splatting|动态高斯泼溅]] → 组合到 Marble 场景 → SparkJS 浏览器渲染 + +## 实验结果 + +| 数据集 | 方法 | PSNR ↑ | SSIM ↑ | LPIPS ↓ | +|--------|------|--------|--------|---------| +| DNA-Rendering | Diffuman4D-GT-skeleton | 24.23 | 0.9479 | 0.0744 | +| DNA-Rendering | **Flex4DHuman-fg** | **25.44** | **0.9516** | **0.0617** | +| ActorsHQ (零样本) | Diffuman4D-mono-skeleton | 17.97 | 0.815 | 0.307 | +| ActorsHQ (零样本) | **Flex4DHuman-fg** | **21.32** | **0.856** | **0.277** | + +## 参考 + +- 原始存档: [raw/papers/cheng-flex4dhuman-2026.md](raw/papers/cheng-flex4dhuman-2026.md) +- 代码: 论文声称开源（Code available） +- 项目页: 论文中提供 Project Page 链接 diff --git a/papers/geometric-sae-concepts.md b/papers/geometric-sae-concepts.md new file mode 100644 index 0000000..f9f710e --- /dev/null +++ b/papers/geometric-sae-concepts.md @@ -0,0 +1,84 @@ +--- +title: "A Geometric View for Understanding Concept Learning and Neuron Interpretation in Sparse Autoencoders" +created: 2026-06-17 +updated: 2026-06-17 +type: paper +tags: [interpretability, mechanistic-interpretability, sparse-autoencoder, geometry, concept-learning] +sources: [raw/papers/zhang-geometric-sae-2026.md] +confidence: high +--- + +# 稀疏自编码器中概念学习与神经元解释的几何视角 + +> Chenhao Zhang, Chris Lin, Su-In Lee — University of Washington, 2026 +> arXiv: [2606.07007](https://arxiv.org/abs/2606.07007) + +## 核心问题 + +[[sparse-autoencoder|稀疏自编码器（SAE）]] 通过学习过完备稀疏表征改善了神经网络的可解释性，但**"概念"和"学习"缺乏形式化定义**。什么是 SAE 真正"学会"了一个人类概念？神经元解释和概念学习是一回事吗？ + +本文提出一个统一的集合论与几何框架来回答这些问题。 + +## 方法论核心 + +### 概念 = 数据点集合 + +从**数据扎根（data-grounded）**视角，概念被形式化为输入空间中的可测集合 `C ⊆ X`： + +- **人类概念** `C`：人可通过示例定义的概念集合 +- **模型概念** `θ_M`：SAE 神经元集合 M 的联合激活区域 +- **概念学习**：人类概念 C 与模型概念 θ 之间的**集合对齐**问题 + +### SAE 门控分类 + +将 SAE 架构分为两类，对后续几何分析至关重要： + +- **[[absolute-gating|绝对门控]]**：每个神经元的激活独立于其他神经元（ReLU SAE、Gated SAE、JumpReLU SAE） +- **[[absolute-gating|相对门控]]**（relative gating）：神经元的激活依赖于其他神经元（Top-K SAE、Matching Pursuit SAE、SPaDE） + +绝对门控下，神经元激活区域 `N_i = H_i^+` 是半空间；相对门控下，`N_i ⊆ H_i^+` 且通常是超平面排列区域的子集。 + +### 概念学习的三个层次 + +1. **概念检测（Concept Detection）**：θ 覆盖 C（最弱：`µ(C\θ)=0`） +2. **概念分离（Concept Separation）**：θ 在数据支持上独占 C +3. **概念近似（Concept Approximation）**：θ 在环境空间上紧致包围 C（最强，支持新概念发现） + +### 关键定理 + +- **Theorem 5.2**：单神经元分离 C ↔ `Conv(C) ∩ Conv(N) = ∅` +- **Theorem 5.4**：多神经元单元分离 C ↔ `Conv(C) ∩ N = ∅` +- **Theorem 5.8**：C 可被任意好近似 ↔ C 是凸集（up to ν-null set） +- **Theorem 5.10**：组合容量约束 `d ≳ (k_c! |C|)^{1/k_c}` + +## SAE 现象的统一解释 + +| 现象 | 集合论表述 | +|------|-----------| +| [[polysemanticity|多义性]] | 神经元 R 关联多个不相关概念 | +| [[feature-splitting|特征分裂]] | `θ ≈ ∪ θ_j`，θ_j 近似不交 | +| [[feature-absorption|特征吸收]] | `µ(C_i ∩ θ_{C_j}^c) > 0`（稀疏惩罚阻止父子同激活） | +| [[feature-family|特征家族]] | `∩ θ_l ≠ ∅`（协同激活） | +| 层级概念 | `C_i ⊂ C_j` 期望 `θ_{C_i} ⊂ θ_{C_j}` | + +## 概念学习 ≠ 神经元解释 + +通过 [[formal-concept-analysis|形式概念分析（FCA）]]，两者是关系 `R ⊆ C × N` 的两个方向： + +- **概念学习**：给定概念 C，找对应的神经元集合 M（正向映射 f） +- **神经元解释**：给定神经元集合 M，描述它们共同表征的概念（反向映射 g） +- 两者通过 [[concept-lattice|概念格]] 组织多对多语义结构 + +## 实验验证 + +在合成数据上使用 ReLU SAE 和 Top-K SAE 验证： +- SNTA（单神经元总激活区域）和 TNSA（总神经元单激活）的几何形状 +- SAE 大小和稀疏度对概念学习能力的影响 + +## 参考 + +- [[sparse-autoencoder|SAE]] +- [[linear-representation-hypothesis|线性表征假设]] +- [[mechanistic-interpretability|机制可解释性]] +- [[superposition|叠加]] +- 来源：[原始存档](raw/papers/zhang-geometric-sae-2026.md) diff --git a/papers/goru-one-pass-to-reason-2025.md b/papers/goru-one-pass-to-reason-2025.md new file mode 100644 index 0000000..f3659cc --- /dev/null +++ b/papers/goru-one-pass-to-reason-2025.md @@ -0,0 +1,106 @@ +--- +title: "One-Pass to Reason: 多轮推理的高效单遍微调" +authors: "Ritesh Goru, Shanay Mehta, Prateek Jain (DevRev)" +venue: "ICML 2025 Workshop — Efficient Systems for Foundational Models" +arxiv: "2504.18246" +code: "https://github.com/devrev/One-Pass-to-Reason" +dataset: "https://huggingface.co/datasets/devrev-research/MathChatSync-reasoning" +year: 2025 +type: paper +tags: [efficient-fine-tuning, multi-turn-reasoning, attention-mask] +--- + +# One-Pass to Reason + +> **核心思想**：通过 token 复制 + 分块稀疏注意力掩码，将多轮推理对话的 N 遍训练压缩为单遍，时间复杂度从 O(N³) 降至 O(N²)。 + +## 问题背景 + +推理模型（如 DeepSeek-R1）遵循行业惯例：生成推理 token → 输出回复 → 在后续轮次中**丢弃推理 token**。这导致多轮对话微调时，每个对话需要 N 次独立前向传播（N = 对话轮数）。 + +两个核心约束： +1. **[[visibility-constraint|可见性约束]]**：推理 token 在生成时必须可见，但在后续轮次中必须隐藏 +2. **[[position-id-discrepancy|位置 ID 偏差]]**：回复 token 在生成时紧跟推理 token，但在上下文中的位置紧接着人类消息 + +## 方法 + +### Token 复制 ([[token-duplication]]) + +将每个助手回复的 response token 复制为两份： +- **ri_in**（上下文副本）：不关注推理 token，作为后续轮次的纯上下文 +- **ri_out**（生成副本）：关注推理 token，参与 loss 计算 + +### 分块稀疏注意力掩码 ([[block-sparse-attention]]) + +定义每种 token 类型（hi, ti, ri_in, ri_out）的可见性规则： +- `hi → A(H4：收益递减 + +## 数据集 + +**[[mathchatsync-reasoning|MathChatSync Reasoning]]**：首个公开的多轮推理数据集，基于 MathChatSync，用 GPT-4.1-mini 为每个助手回复生成推理 token。 + +## 实现细节 + +- 基于 LLaMA-Factory ([[llama-factory]]) +- 使用 [[flex-attention|PyTorch FlexAttention]]（FlashAttention-2 不支持自定义掩码） +- 掩码生成在 GPU 上向量化执行，用卡诺图化简布尔逻辑 +- 支持序列打包 ([[sequence-packing]]) 叠加自定义掩码 + +## 关键洞察 + +1. **从 O(N³) 到 O(N²)** 的复杂度降低意味着：对话越长，单遍训练的优势越大 +2. Token 复制的本质是**用空间换时间**：多存一份 response 换来一个数量级的加速 +3. K-Pass 提供了一个优雅的连续统：从完全节省内存（N-Pass）到完全节省时间（1-Pass） + +## 相关概念 + +- [[deepseek-r1]] — 典型推理模型 +- [[qlora]] — 实验所用的高效微调方法 +- [[flash-attention]] — 快速注意力实现 +- [[llama-factory]] — 微调框架 +- [[multi-turn-reasoning]] — 多轮推理训练问题域 diff --git a/papers/liu-auditing-agent-harness-safety.md b/papers/liu-auditing-agent-harness-safety.md new file mode 100644 index 0000000..b81956a --- /dev/null +++ b/papers/liu-auditing-agent-harness-safety.md @@ -0,0 +1,52 @@ +--- +title: "Auditing Agent Harness Safety" +created: 2026-06-05 +updated: 2026-06-05 +type: paper +tags: [agent-safety, harness, trajectory-audit, multi-agent, benchmark] +sources: [arxiv:2605.14271] +--- + +# Auditing Agent Harness Safety + +> Liu et al., arXiv:2605.14271 (May 2026) + +## 核心问题 + +现代 LLM Agent 运行在 **执行骨架（execution harness）** 之中——如 OpenClaw、Claude Code、Codex——由骨架决定工具分发、资源分配和组件间消息路由。关键问题是：**骨架可以在返回正确、良性的最终答案的同时，在过程中越权访问资源或将上下文泄露给错误的 Agent**。仅评测最终输出无法发现这些问题。本文提出将 **Agent Safety 的评测对象从"回答"转移到"骨架"本身**，并对**完整执行轨迹**进行审计。 + +## 方法论贡献 + +### 1. HarnessAudit 框架 + +将 Agent 骨架形式化为一个 **[[policy-constrained-execution|策略约束的执行系统]]** H = (A, T, R, Π, Φ, Σ)，并沿三个层次审计完整执行轨迹： + +- **[[boundary-compliance|L1 边界合规]]**：工具调用是否越权？资源访问是否超出范围？信息流是否违反约束？ +- **[[execution-fidelity|L2 执行忠实度]]**：中间步骤是否有效？任务检查点是否达成？ +- **[[system-stability|L3 系统稳定性]]**：在间接注入、模糊目标、工具错误等扰动下，L1 和 L2 是否保持？ + +核心设计：所有证据来自 Agent **不可见、不可操纵**的 [[hidden-audit-channel|隐藏审计通道]]，而非 Agent 自报。 + +### 2. HarnessAudit-Bench + +- 210 个任务，覆盖 8 个真实场景（金融、电商、医疗、法律、软件工程、办公、日常、社交） +- 单 Agent 和 多 Agent 两种配置 +- 嵌入式安全约束，含真实工具接口和状态动态 + +### 3. 实验评估 + +评测 10 种骨架配置（OpenClaw + 7 模型、Claude Code + 2 模型、Codex + 1 模型）和 3 种多 Agent 框架（Claw-Team, Google ADK, OpenAI Agent SDK）。 + +## 关键发现 + +| 发现 | 描述 | +|------|------| +| **能力与安全失配** | 最强系统总体得分仅 0.32；高任务完成率不保证安全执行 | +| **资源访问是主要违规面** | 多数配置下资源安全远弱于工具安全和信息流安全 | +| **多 Agent 放大风险** | 多 Agent 的 SAR 全面低于单 Agent（tool: 0.64 vs 0.91, resource: 0.63 vs 0.85）| +| **扰动下脆弱** | 间接注入导致最大性能下降；系统稳定性与正常任务完成性能明显分离 | +| **骨架设计决定安全上限** | Claude Code 相较 OpenClaw 同步提升了完成度和安全性；Codex 则在提升完成度的同时降低了安全性 | + +## 相关概念网络 + +本论文与 [[agent-harness-engineering|Agent 执行骨架工程]]密切相关，提出了骨架安全的**三层审计框架**。[[trajectory-auditing|轨迹级审计]]方法与 [[agent-safety-evaluation|Agent 安全评测]]的演进方向一致——从输出评测转向过程审计。[[multi-agent-safety|多 Agent 安全]]揭示了 agent 协作中 [[information-flow-control|信息流控制]] 和 [[resource-access-control|资源访问控制]]的系统性缺陷。[[safety-adherence-rate|安全遵守率 (SAR)]]作为乘法性安全门控的设计，与 [[harness-as-policy|Harness-as-Policy]] 的约束执行理念对齐。 diff --git a/papers/ma-intragent-2026.md b/papers/ma-intragent-2026.md new file mode 100644 index 0000000..efb7be0 --- /dev/null +++ b/papers/ma-intragent-2026.md @@ -0,0 +1,58 @@ +--- +title: "IntrAgent: Content-Grounded Literature Information Retrieval" +type: paper +arxiv: "2604.22861" +authors: "Fengbo Ma, Zixin Rao, Xiaoting Li, Zhetao Chen, Hongyue Sun, Yiping Zhao, Xianyan Chen, Zhen Xiang" +venue: "arXiv 2026" +created: 2026-06-04 +tags: [llm-agent, information-retrieval, scientific-literature, rag, hallucination-mitigation] +code: "https://github.com/FengboMa/IntrAgent" +--- + +# IntrAgent: Content-Grounded Literature Information Retrieval + +**核心问题**：如何从科学文献中精确、高效地提取信息，且严格锚定于文献内容，避免幻觉？ + +## 问题定义 + +论文提出了 **[[intraview|IntraView]]** 任务：给定一篇科学文献和一个信息检索查询，从文献中提取并综合信息，忠实于所提供的内容。与一般的 [[content-question-answering|CQA]] 不同，IntraView 要求：(1) 提供完整文献而非预选段落，(2) 处理需要跨节交叉引用的领域特定查询，(3) 当信息不存在时明确承认而非编造。 + +## 方法论：IntrAgent + +[[intragent]] 模拟人类阅读文献获取信息的行为——先定位相关章节，再逐步提取关键细节。包含两阶段管道： + +### 阶段一：[[section-ranking|章节排序]] + +1. **章节标题解析**：通过 [[mineru]] 将 PDF 文献转换为 Markdown 格式 +2. **[[hierarchy-preservation|层级保持]]**：LLM 推导章节层级关系，构建章节树 +3. **推理排序**：基于结构感知推理对章节按相关性排序 + +### 阶段二：[[iterative-reading|迭代阅读]] + +- **重排序章节访问**：按相关性降序依次读取章节 +- **章节细节提取**：提取术语、数值、实验设置、统计指标等关键细节 +- **[[sufficiency-check|充分性检查]]**：LLM 判断已积累信息是否足以回答问题——这是抑制幻觉的关键机制 +- **三种阅读风格**：保守型、平衡型（默认）、激进型——控制操作开销 +- **最终答案合成**：从累积的细节中综合生成答案 + +## 评估基准 + +[[intrabench|IntraBench]]：315 个测试实例，覆盖物理、地球科学、公共卫生、工程、材料科学 5 个 STEM 领域。采用 LLM 锚定的多选题评估方式处理科学术语的同义词/缩写挑战。 + +## 核心结果 + +- 在 7 个 backbone LLM 上，IntrAgent 平均比 SOTA RAG 和研究 Agent baseline 高 13.2% 跨领域准确率 +- 结构知识（章节层级）是准确章节排序的关键——仅靠语义相似度不足 +- [[sufficiency-check|充分性检查]] 同时防止幻觉（证据不足时过早回答）和过度阅读 + +## 设计启示 + +> 从"平面检索-生成"到"结构感知的渐进式阅读"——IntrAgent 证明，模仿人类阅读行为的 agent 设计能显著提升科学文献信息检索的准确性和忠实性。 + +## 相关概念 + +- [[rag|RAG]] — 传统检索增强生成 vs 结构感知推理排序 +- [[hallucination-mitigation]] — 充分性检查作为幻觉抑制机制 +- [[content-grounded-retrieval]] — 内容锚定检索的范式要求 +- [[scientific-literature-qa]] — 科学文献问答的任务空间 +- [[agent-harness-engineering]] — Agent 设计方法论 diff --git a/papers/maes-leworldmodel-2026.md b/papers/maes-leworldmodel-2026.md new file mode 100644 index 0000000..4140a05 --- /dev/null +++ b/papers/maes-leworldmodel-2026.md @@ -0,0 +1,88 @@ +--- +title: "LeWorldModel: Stable End-to-End JEPA from Pixels" +created: 2026-06-08 +updated: 2026-06-08 +type: paper +tags: [world-model, JEPA, LeCun, SIGReg, end-to-end, planning] +sources: [https://arxiv.org/abs/2603.19312] +arxiv: "2603.19312v3" +venue: "Preprint, 2026" +--- + +# LeWorldModel: Stable End-to-End JEPA from Pixels + +> **作者**: Lucas Maes*, Quentin Le Lidec*, Damien Scieur, Yann LeCun, Randall Balestriero +> **机构**: Mila/UdeM, NYU, Samsung SAIL, Brown University +> **完整摘要**: [raw/papers/maes-leworldmodel-2026.md](raw/papers/maes-leworldmodel-2026.md) + +## 一句话 + +**首个无需 stop-gradient、EMA 或预训练编码器的端到端 JEPA 世界模型**——仅 2 个损失项 + 1 个超参，15M 参数单 GPU 数小时训练，规划速度比 DINO-WM 快 48×，Push-T 成功率 96%。 + +## 核心贡献 + +1. **消除训练启发式**：无 stop-gradient、无 EMA、无预训练编码器——纯粹从像素端到端训练 +2. **极简训练目标**：预测损失 + [[sigreg|SIGReg]] 正则化，超参从 6 → 1 +3. **速度与性能兼得**：规划速度 DINO-WM 的 48×，控制任务与 SOTA 持平或更优 +4. **物理理解**：潜在空间编码有意义的物理量，可靠检测物理不合理事件（surprise evaluation） + +## 技术要点 + +### 架构（15M 参数） +- **编码器**: ViT-Tiny (5M), BatchNorm 投影头——不用 LN 以免限制 SIGReg +- **预测器**: Transformer (10M), AdaLN 注入动作条件，时间因果掩码自回归 +- **训练**: $\mathcal{L} = \|\hat{Z}_{t+1} - Z_{t+1}\|^2 + \lambda \cdot SIGReg(Z)$ + +### 关键设计决策 +| 设计 | 理由 | +|------|------| +| BatchNorm 非 LayerNorm | LN 限制表示分布方差，阻碍 SIGReg 优化 | +| AdaLN 零初始化 | 动作条件渐进式影响，避免剧烈改变预测器行为 | +| Epps-Pulley 检验 | 基于特征函数的正态性检验，对厚尾、多峰敏感 | +| 无 stop-gradient | 区别于 I-JEPA/V-JEPA，简化训练流程 | + +### 对比定位 + +``` +PLDM DINO-WM LeWM + 端到端 ✓ 冻结编码器 端到端 ✓ + 6 超参 预训练依赖 1 超参 ✓ + 多损失拉扯 速度快但受限 单调收敛 ✓ + 无防坍塌保证 无端到端学习 可证明防坍塌 ✓ +``` + +## 实验结果 + +- **Push-T**: 96.0%（PLDM 78%，提升 18%） +- **Reacher / TwoRoom**: 与 SOTA 持平或更优 +- **OGBench-Cube**: 略逊 DINO-WM（后者受益于 DINOv2 1.24亿图像预训练） +- **规划速度**: DINO-WM 的 48×（token 数减少 ~200×） +- **物理 probing**: 潜在空间可线性 probe 出旋转量、位置等物理量 +- **Surprise 评估**: 可靠检测物理不合理轨迹（violation of expectation） + +## 局限 + +1. 短视界规划——自回归误差随步长累积 +2. 依赖离线数据集，简单场景 SIGReg 可能过度正则化 +3. 需显式动作标签 +4. 实验限于低维受控任务，未在开放世界验证 + +## 概念网络 + +``` +[[leworldmodel|LeWorldModel]] +├── [[jepa|JEPA]]（架构基础） +├── [[sigreg|SIGReg]]（防坍塌核心） +├── [[pldm|PLDM]]（唯一端到端替代） +├── [[representation-collapse|表征坍缩]] +├── [[abstract-representation-space|抽象表征空间]] +├── [[world-model-lecun|LeCun 世界模型]] +└── [[objective-driven-ai|目标驱动AI]] +``` + +## 阅读路径 + +- 理解 JEPA 基础 → [[jepa]] +- 理解防坍塌机制 → [[sigreg]], [[representation-collapse]] +- 对比替代方案 → [[pldm]] +- 宏观视角 → [[world-model-lecun]], [[lecun-llm-boundary-future]] diff --git a/papers/minimax-policy-regret-pomg.md b/papers/minimax-policy-regret-pomg.md new file mode 100644 index 0000000..90efdbe --- /dev/null +++ b/papers/minimax-policy-regret-pomg.md @@ -0,0 +1,75 @@ +--- +title: "Minimax-Optimal Policy Regret in Partially Observable Markov Games" +created: 2026-06-10 +updated: 2026-06-10 +type: paper +tags: ["multi-agent-rl", "partial-observability", "regret-analysis", "markov-games", "theory"] +sources: ["https://arxiv.org/abs/2606.02363"] +--- + +# Minimax-Optimal Policy Regret in POMGs + +**Author**: Raman Arora (Johns Hopkins University) +**Venue**: ICML 2026 [cs.LG, stat.ML] + +## 核心问题 + +在实际多智能体场景中（自动驾驶、算法交易、网络安全），智能体面对的是**部分可观测**且**策略性响应**的对手。传统的 external regret 假设对手行为在反事实情况下不变——这在自适应对手面前失效。 + +本文在**部分可观测马尔可夫博弈**（[[partially-observable-markov-game|POMG]]）框架下，研究 minimax 最优策略后悔。 + +## 方法论贡献 + +### 1. 形式化与结构假设 + +**[[posterior-lipschitz-adversary|Posterior-Lipschitz 对手]]**：对手响应随学习者策略平滑变化，排除不连续跳跃。使用参考后验预测算子 S_ref 进行解耦。 + +**[[weak-revealing-condition|Weak Revealing 条件]]**：观测的信息量足够在 kappa 步窗口内识别世界动力学差异，排除观测完全无信息的退化 POMG。 + +### 2. [[causal-decomposition-pomg|因果分解]] + +将 [[observable-operator-model|OOM]] 算子分解为两个独立组件： +- **世界通道** (W_h)：转移 + 发射核 +- **对手聚合** (G_h)：对手响应模型 + +### 3. [[epoch-based-optimistic-mle|Epoch-based Optimistic MLE 算法]] + +核心机制： +- 几何增长的 epoch：T_e = 2^e +- 每个 epoch 开始时构建 MLE 置信集 +- 整个 epoch 执行单一乐观策略 +- 仅 O(log T) 个不同策略被部署 → 传输成本保持 polylogarithmic + +## 核心定理 + +**上界**：策略后悔 PR(T) <= C * H * sqrt(beta_T * d_E * T) + polylog 项 + +**下界**：任何算法必须承担 Omega(sqrt(d_E * T)) 策略后悔 + +→ **Minimax 最优**（匹配 sqrt(T) 和 d_E 依赖性） + +其中 d_E 是 uniform [[eluder-dimension|Eluder 维度]]，对 tabular/linear/low-rank 模型类有显式界。 + +## 扩展 + +- 未知时间范围的 horizon-adaptive 保证 +- 无界但**几何衰减记忆**的对手（[[fading-memory|Fading Memory]]） + +## 关键技术概念 + +| 概念 | 角色 | +|------|------| +| [[policy-regret|Policy Regret]] | 反事实性能度量 | +| [[eluder-dimension|Eluder Dimension]] | 函数类顺序复杂度 | +| [[observable-operator-model|OOM]] | POMG 的可处理表示 | +| [[posterior-lipschitz-adversary|Posterior-Lipschitz]] | 对手平滑性 | +| [[weak-revealing-condition|Weak Revealing]] | 观测信息量 | +| [[causal-decomposition-pomg|Causal Decomposition]] | 世界 vs 对手分离 | + +## 与已有文献的关系 + +从单智能体 [[pomdp|POMDP]]（Liu et al. 2022a）扩展到博弈论设定，从 bandit policy regret（Arora et al. 2012）扩展到结构化部分可观测动力学。 + +## 来源 +- [arXiv](https://arxiv.org/abs/2606.02363) +- [原始存档](raw/papers/arora-minimax-policy-regret-pomg-2026.md) diff --git a/papers/niu-stem-causal-sparse-attention.md b/papers/niu-stem-causal-sparse-attention.md new file mode 100644 index 0000000..45ca019 --- /dev/null +++ b/papers/niu-stem-causal-sparse-attention.md @@ -0,0 +1,48 @@ +--- +title: "Stem: Rethinking Causal Information Flow in Sparse Attention" +created: 2026-06-05 +updated: 2026-06-05 +type: paper +tags: [sparse-attention, causal, information-flow, pre-filling, training-free] +sources: [arxiv:2603.06274] +--- + +# Stem: Rethinking Causal Information Flow in Sparse Attention + +> Niu et al. (Tencent / USTC), arXiv:2603.06274 (March 2026) + +## 核心问题 + +Self-attention 的二次复杂度是 LLM 长上下文推理（特别是 pre-filling 阶段）的根本瓶颈。现有的 [[sparse-attention-patterns|稀疏注意力方法]] 存在两个系统性问题： + +1. **统一 top-k**：对一层内所有 token 位置应用相同的稀疏预算，忽略了 [[causal-information-flow|因果信息流]] 的累积依赖结构 +2. **仅靠注意力分数**：基于模拟的注意力分数选 token，忽略了 token 的实际信息贡献（Value 信息） + +## 关键洞察：因果架构中的 Token 不对称性 + +在因果注意力中，第 1 个 token 的 Value 向量 V₁ 参与**所有后续 token** 的计算，而第 N 个 token 的 V_N 只参与最后一个 token 的计算。这种不对称性在深层网络中递归放大： + +> Pruning V₁ → 全局失真（影响每个后续 token） +> Pruning V_N → 局部误差（仅影响尾部） + +因此，对初始位置的 token 做无差别剪枝 = 系统性破坏信号传播。 + +## Stem 框架 + +| 组件 | 机制 | 解决的问题 | +|------|------|-----------| +| **[[token-position-decay|TPD]]** | 位置依赖的 top-k：前面多保留，后面激进稀疏化 | 保护递归依赖链的完整性 | +| **[[output-aware-metric|OAM]]** | 基于近似输出幅度的 token 选择（引入 Value 信息） | 超越仅靠注意力分数的盲目选择 | + +## 关键特性 + +- **Training-free**：无需微调，即插即用 +- **可叠加**：可作为插件集成到训练型稀疏模型（DeepSeek-V3.2、MiniCPM-4.1）中进一步压缩 +- **Triton 实现**：基于 [[block-sparse-attention|Block Sparse Attention]] 内核高效执行 +- **实验验证**：RULER + LongBench，Llama3.1-8B + Qwen3-8B + +## 与其他稀疏注意力方法的关系 + +- [[native-sparse-attention|NSA]]（DeepSeek）是训练型稀疏注意力，Stem 可以叠加其上进一步压缩 +- [[block-sparse-attention|Block-Sparse Attention]] 是 Stem 的底层实现内核 +- [[compressed-sparse-attention|CSA]] 和 [[sparse-attention-patterns|稀疏注意力模式]] 关注 token 选择策略，Stem 的创新在于将选择策略对齐到信息流结构 diff --git a/papers/onereason.md b/papers/onereason.md new file mode 100644 index 0000000..964c9bf --- /dev/null +++ b/papers/onereason.md @@ -0,0 +1,56 @@ +--- +title: "OneReason: 生成式推荐中的推理能力解锁" +created: 2026-06-10 +updated: 2026-06-10 +type: paper +tags: [recommendation, reasoning, chain-of-thought, generative-model, rl] +sources: [raw/papers/onereason-team-onereason-2026.md] +confidence: high +--- + +# OneReason: 生成式推荐中的推理能力解锁 + +> **arXiv:2606.06260** | OneRec Team (Kuaishou) | 2026-06-04 +> 从「缩放优势」到「推理优势」——让生成式推荐模型真正学会「先思考再推荐」 + +## 核心问题 + +[[onerec|OneRec]] 系列生成式推荐模型在工业界（快手短视频、直播、广告、电商）已广泛部署，但这些模型只能享受 **Scaling 红利**，推理能力难以激活——因为纯 [[itemic-tokens|itemic token]] 序列无法构造有意义的 [[chain-of-thought|思维链 (CoT)]]。 + +初步探索（OneRec-Think、OpenOneRec）虽成功将「think before answer」范式推广到推荐任务，却出现**意外现象：thinking mode 并不优于 non-thinking mode**。 + +## 方法论贡献 + +借鉴多模态 LLM 中 CoT 鲁棒性的研究，本文提出推荐推理的两大支柱： + +1. **[[perception-cognition-recommendation|Perception (感知)]]**：将 itemic token 深度对齐到其底层语言语义，使其成为可指称、可组合的语义单元 +2. **[[perception-cognition-recommendation|Cognition (认知)]]**：设计推荐专用的三层 CoT 结构来支撑审慎推理 + +基于此提出 **OneReason**，包含三个技术阶段： + +| 阶段 | 技术 | 目标 | +|------|------|------| +| Pre-training | 强化 [[itemic-text-alignment|itemic-text 对齐]] | 建立强 item perception | +| SFT | 三层 [[recommendation-cot|cognition-enhanced CoT]] | 构建推荐推理能力 | +| RL | [[specialize-then-unify-rl|specialize-then-unify]] | 增强 thinking 优势 | + +## 关键发现 + +- **Specialize-then-Unify**：多域混合 RL 下 thinking mode 仍落后于 non-thinking mode，但单域 RL 下 consistently 超越。因此先做域内专项 RL，再通过 [[rejection-sampling-fine-tuning|Rejection Sampling FT]] 或 [[multi-teacher-on-policy-distillation|Multi-Teacher On-Policy Distillation]] 做跨域平衡 +- **[[thinking-supervision-transfer|Thinking Supervision Transfer]]**：用 CoT 监督数据替换 unCoT 数据可提升 non-thinking mode 性能——CoT 监督信号可能迁移到直接解码 +- **[[abductive-reasoning-recommendation|Abductive Reasoning]]**：推荐推理是溯因而非演绎——从行为序列反推隐含兴趣点 + +## 评估体系 + +[[onereason-bench|OneReason-Bench]] 按 R0→R3 四层递进评估推荐推理能力。 + +## 开源 + +OneReason-8B 和 OneReason-0.8B 模型将开源。 + +## 参考 + +- [[onerec|OneRec 生成式推荐]] +- [[chain-of-thought|思维链 (CoT)]] +- [[generative-recommendation|生成式推荐]] +- [原始存档](raw/papers/onereason-team-onereason-2026.md) diff --git a/papers/ortega-phd-thesis.md b/papers/ortega-phd-thesis.md new file mode 100644 index 0000000..b3a853b --- /dev/null +++ b/papers/ortega-phd-thesis.md @@ -0,0 +1,67 @@ +--- +title: "Uncertainty Estimation and Generalization Bounds for Modern Deep Learning" +created: 2026-06-17 +updated: 2026-06-17 +type: paper +tags: [bayesian-deep-learning, generalization, uncertainty, pac-bayesian, gaussian-process] +sources: [raw/papers/ortega-phd-thesis-2026.md] +confidence: high +--- + +# 现代深度学习中的不确定性估计与泛化界 + +> Luis A. Ortega Andrés — PhD Thesis, Autonomous University of Madrid, 2026 +> Supervisor: Daniel Hernández-Lobato | arXiv: [2606.13818](https://arxiv.org/abs/2606.13818) + +## 核心问题 + +神经网络预测性能强大，但**泛化能力与不确定性量化**仍理解不完整。本论文从方法论和理论两个角度，在统一的概率视角下连接 Bayesian 推断、函数空间建模和大偏差理论。 + +## 方法论贡献 + +### Deep Variational Implicit Process ([[deep-variational-implicit-process|DVIP]]) + +- 将[[implicit-processes|隐式过程]]扩展到深度架构的可扩展 Bayesian 框架 +- 建模**易采样但无显式密度**的函数分布 +- 在深度高斯过程 1/10 的计算代价下达到竞争性能 + +### 后处理方法 + +| 方法 | 全称 | 机制 | +|------|------|------| +| [[variational-linearized-laplace-approximation|VaLLA]] | Variational Linearized Laplace | 变分 + 线性化 Laplace 后验 | +| [[fixed-mean-gaussian-process|FMGP]] | Fixed-Mean Gaussian Process | 冻结均值 + GP 协方差校准 | + +两者均为预训练确定性网络**附加校准的不确定性估计**，桥接确定性与 Bayesian 深度学习。 + +## 理论贡献 + +### 统一泛化框架 + +在 [[pac-bayesian-bounds|PAC-Bayesian]] 和大偏差理论下连接三个泛化机制： + +1. **多样性（Diversity）**：集成成员的函数独立性降低泛化误差 +2. **光滑性（Smoothness）**：损失景观曲率放大经验损失的集中率函数 +3. **随机性（Stochasticity）**：SGD 噪声作为隐式正则化 → 偏向平坦极小值 + +### PAC-Chernoff 界 + +- 在**插值区间**仍有意义（传统界在此失效） +- 提供对 [[double-descent|双下降]] 的定量、分布依赖解释 + +## 论文结构 + +| 章节 | 内容 | +|------|------| +| Ch 2 | Bayesian 推断基础 + GP + 泛化界 | +| Ch 3 | DVIP: 可扩展隐式过程 Bayesian 推断 | +| Ch 4 | VaLLA + FMGP: 后验不确定性校准 | +| Ch 5 | PAC-Bayes + 大偏差泛化框架 | +| Ch 6 | SGD 隐式正则化的概率分析 | + +## 参考 + +- [[bayesian-deep-learning|Bayesian 深度学习]] +- [[deep-gaussian-process|深度高斯过程]] +- [[generalization-bounds|泛化界]] +- 来源：[原始存档](raw/papers/ortega-phd-thesis-2026.md) diff --git a/papers/predictive-representations-scalable-mtrl.md b/papers/predictive-representations-scalable-mtrl.md new file mode 100644 index 0000000..fdfb6ef --- /dev/null +++ b/papers/predictive-representations-scalable-mtrl.md @@ -0,0 +1,72 @@ +--- +title: "预测表征驱动可扩展多任务深度强化学习" +created: 2026-06-10 +updated: 2026-06-10 +type: paper +tags: ["deep-rl", "multitask-learning", "representation-learning", "model-free-rl", "scaling"] +sources: ["https://arxiv.org/abs/2606.05555"] +--- + +# 预测表征驱动可扩展多任务深度RL + +**Authors**: Johan Obando-Ceron, Lu Li, Scott Fujimoto, Pierre-Luc Bacon, Aaron Courville, Pablo Samuel Castro +**Venue**: arXiv:2606.05555v1 [cs.LG, cs.AI], 2026 +**Affiliations**: Mila, UdeM, McGill, Google DeepMind + +## 核心假说 + +多任务RL的可扩展性驱动力不是 model-based 规划，而是**预测性表征学习**。将 model-based 的预测表征与高容量价值函数近似结合，即使不做规划，也足以获得强大性能。 + +## 背景：Model-Based vs Model-Free 的争论 + +近年多任务RL的重大进展主要由 [[world-models-rl|world model]] 方法驱动（Dreamer, TD-MPC2, Newt），但这些方法捆绑了多个组件：预测建模 + 潜空间规划 + 大共享架构。问题是——**哪一部分真正驱动了性能提升？** + +本文的核心洞察：规划本身引入计算开销、超参数敏感性和模型误差累积。真正的好处来自预测目标学习的表征。 + +## MR.Q 算法 + +[[mrq-algorithm|MR.Q]]（Fujimoto et al., 2025）是一个纯粹的 model-free agent，将预测目标整合进 TD 学习： + +- 基于 TD3 (Fujimoto et al., 2018) 的 actor-critic 架构 +- 编码器将观测+任务信息映射到潜空间 z_t +- [[auxiliary-predictive-objectives|辅助预测目标]]：预测 (z_{t+1}, r_t, d_t) 从 (z_t, a_t) +- 预测梯度回传至编码器，塑造表征 +- **不做规划**——学习到的模型仅用于表征塑造 + +## 关键实验结果 + +### 单任务 Scaling（Fig. 1） +- 标准 PPO 随模型增大无收益甚至退化 +- PPO + 预测表征 → 持续随规模提升 +- 表征质量是 scaling 的瓶颈 + +### 多任务 MMBench（10M steps） +- MR.Q 在全部 10 个域上一致超越 Newt（world-model baseline） +- 显著降低计算开销，提升 wall-clock 效率 +- 更强的零样本迁移和少样本微调能力 + +### Ablation +- 移除预测目标后性能大幅退化，即使模型规模很大 +- 预测表征学习是关键——不是可选的辅助 + +## 核心论点 + +``` +预测表征学习 → 更好的潜空间结构 → 稳定的 TD 学习 → 可扩展多任务 RL +``` + +规划不是必需的——预测建模的真正价值在于它提供的**丰富监督信号**，而非显式的未来模拟。 + +## 相关概念 +- [[predictive-representation-learning|预测表征学习]] +- [[mrq-algorithm|MR.Q]] +- [[multitask-rl|多任务RL]] +- [[representation-learning-rl|RL中的表征学习]] +- [[auxiliary-predictive-objectives|辅助预测目标]] +- [[world-models-rl|World Models]] +- [[model-free-rl|Model-Free RL]] +- [[deep-rl-scaling|扩展深度RL]] + +## 来源 +- [arXiv](https://arxiv.org/abs/2606.05555) +- [原始存档](raw/papers/obando-ceron-predictive-representations-mtrl-2026.md) diff --git a/papers/principled-uncertainty-clinical-ai.md b/papers/principled-uncertainty-clinical-ai.md new file mode 100644 index 0000000..c261a52 --- /dev/null +++ b/papers/principled-uncertainty-clinical-ai.md @@ -0,0 +1,69 @@ +--- +title: "Principled Uncertainty in Clinical AI: Bayesian Modelling and Equity Auditing" +created: 2026-06-10 +updated: 2026-06-10 +type: paper +tags: ["bayesian-deep-learning", "uncertainty-quantification", "algorithmic-equity", "clinical-ai", "multimodal-fusion"] +sources: ["https://arxiv.org/abs/2606.09789"] +--- + +# Principled Uncertainty in Clinical AI + +**Authors**: Oladimeji Anthonio, Dimeji Abdulsobur Olawuyi, Oloruntoba Ajayi, Temiloluwa Aderemi, Joseph Odamo +**Venue**: arXiv:2606.09789v1 [cs.CY], 2026 +**Affiliation**: Centre for Algorithmic Health Equity, Ibadan, Nigeria + +## 核心问题 + +临床 AI 系统大量生产确定性预测（点估计），却不提供任何置信度或可靠性度量。这导致两个后果：技术上，模型无法区分高置信场景与分布外输入；公平性上，系统性地对弱势群体的失败完全不可见。 + +## 方法论贡献 + +提出了**端到端贝叶斯不确定性建模框架**，将分布表示传播到多模态预测管线的每一个阶段： + +1. **模态特定变分编码器**（[[variational-autoencoder|VAE]] 基础）：将 EHR（32维）、医学影像特征（128维）、临床文本嵌入（64维）映射到共享 16 维潜空间 +2. **精度加权晚期融合**（[[precision-weighted-fusion]]）：利用各模态精度 Λ_m = 1/σ²_m 进行加权组合，缺失模态自动排除（log σ² → 10.0） +3. **分解不确定性输出头**（[[uncertainty-quantification]]）：分离 [[aleatoric-uncertainty]]（Softplus 激活）和 [[epistemic-uncertainty]]（[[mc-dropout]] T 次前向传播方差） +4. **复合贝叶斯损失**：L_total = L_pred + β_KL·L_KL + β_unc·L_unc + +## 关键发现 + +**校准性能**：ECE = 0.096，缺失影像数据患者不确定性提升 +42.2% + +**公平性审计**（核心贡献）——将校准后的不确定性作为算法公平性的形式化度量： + +| 子群体轴 | UEG | p 值 | 效应量 r | +|---------|-----|------|---------| +| 设施类型（初级/农村 vs 三级） | 15.3% | <0.001 | 0.698 | +| 社会经济地位（低 vs 高 SES） | 6.8% | <0.001 | 0.617 | +| 年龄组（老年 vs 成人） | 3.9% | <0.001 | 0.575 | +| 生物性别 | 0.5% | 0.909 | — | + +标准准确率指标无法检测这些差异（农村 85.5% vs 三级 82.6%，仅差 2.9pp），而不确定性差距高达 15.3%。 + +## 核心论点 + +**不确定性不是需要最小化的局限，而是需要度量、报告并采取行动的公平性信号。** 高认知不确定性标志着模型训练数据未能充分代表该患者——在数据质量与资源可用性相关的医疗体系中，这反映了历史性健康不平等的部分映射。 + +## 局限性 +- 合成数据评估（1,000 患者），外部效度有限 +- 固定潜空间维度，未采用层次化潜空间 +- 公平性指标量化差异但未归因到具体原因 + +## 相关概念 +- [[epistemic-uncertainty|认知不确定性]] +- [[aleatoric-uncertainty|随机不确定性]] +- [[uncertainty-quantification|不确定性量化]] +- [[bayesian-deep-learning|贝叶斯深度学习]] +- [[expected-calibration-error|预期校准误差]] +- [[uncertainty-equity-gap|不确定性公平性差距]] +- [[uncertainty-disparity-ratio|不确定性差异比]] +- [[precision-weighted-fusion|精度加权融合]] +- [[mc-dropout|MC Dropout]] +- [[algorithmic-equity|算法公平性]] +- [[clinical-ai|临床人工智能]] +- [[variational-autoencoder|变分自编码器]] + +## 来源 +- [arXiv](https://arxiv.org/abs/2606.09789) +- [原始存档](raw/papers/anthonio-principled-uncertainty-clinical-ai-2026.md) diff --git a/papers/procedural-skills-to-strategy-genes.md b/papers/procedural-skills-to-strategy-genes.md new file mode 100644 index 0000000..0a396a2 --- /dev/null +++ b/papers/procedural-skills-to-strategy-genes.md @@ -0,0 +1,54 @@ +--- +title: "From Procedural Skills to Strategy Genes: Towards Experience-Driven Test-Time Evolution" +created: 2026-06-14 +updated: 2026-06-14 +type: paper +tags: [agent, experience-reuse, test-time-adaptation, representation] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +confidence: high +--- + +# From Procedural Skills to Strategy Genes + +> 从过程技能到策略基因：走向经验驱动的测试时进化 + +**作者:** Junjie Wang, Yiming Ren, Haoyang Zhang (清华大学, EvoMap) +**发表:** arXiv 2604.15097v2, 2026年4月 (v2: 2026年6月) +**领域:** cs.SE, cs.CL | 代码: [skill2gep](https://github.com/EvoMap/skill2gep), [evolver](https://github.com/EvoMap/evolver) + +## 核心问题 + +这篇论文提出了一个**表示层面的问题**：可复用经验应该如何被编码，才能在推理时作为有效的控制信号，并作为迭代进化的基底？传统方法将经验视为"内容对象"——存储、检索、重放，但本文追问：这种经验能否在测试时真正起到**稳定且有效的控制作用**？ + +## 方法 + +在 45 个科学代码求解场景上进行 4,590 次受控试验，设计三类分析探针： + +- **[[skill-probe|技能探针]]** — 分析过程技能为何无法提供稳定的测试时控制 +- **[[gene-probe|基因探针]]** — 分析策略基因为何是更好的经验表示 +- **[[evolution-probe|进化探针]]** — 分析基因作为迭代进化基底的属性 + +## 核心发现 + +1. **文档导向的技能与控制需求不匹配**：技能包（~2,500 tokens）的控制信号稀疏，仅集中在 Workflow 等窄片段中；扩展为完整文档反而降低整体表现（-1.1pp vs 基线）。 +2. **表示本身是一阶因素**：在经验内容大致相同的情况下，如何包装、组织、暴露经验给模型会产生实质性差异。Gene（~230 tokens, +3.0pp）远超 Skill，且重新添加文档材料通常削弱而非增强 Gene。 +3. **Gene 是更好的经验积累载体**：附加的失败历史在 Gene 中比在 Skill 或自由文本中更有效，可编辑结构优于纯文本，失败信息压缩为紧凑警告比朴素追加更有用。 +4. **进化结果**：在 CritPt 基准上，gene-evolved 系统分别从 9.1% → 18.57% 和 17.7% → 27.14%。 + +## 关键贡献 + +1. 将可复用经验从"存储与调用内容"重新塑造为"表示测试时控制信号"的问题 +2. 识别出影响经验复用的对象层面因素：信息过载、表示包装效应、结构鲁棒性、有界复用、选择性积累 +3. 引入 [[strategy-gene|策略基因]] 和 [[gene-evolution-protocol|GEP协议]] 作为协议化的控制表示 + +## 相关概念 + +- [[strategy-gene|策略基因]] — 紧凑的控制导向经验表示 +- [[procedural-skill|过程技能]] — 文档导向的经验包 +- [[gene-evolution-protocol|基因进化协议 (GEP)]] — 协议层 +- [[test-time-control|测试时控制]] — 表示对模型行为的推理时影响 +- [[experience-representation|经验表示]] — 经验如何被形式化编码 +- [[experience-distillation|经验蒸馏]] — 压缩经验为控制信号 +- [[bounded-reuse|有界复用]] — 复用存在范围边界 +- [[gene-bench|Gene-Bench]] — 45场景基准 +- [[critpt|CritPt]] — 外部物理学推理基准 diff --git a/papers/relu-neuromanifolds-semi-algebraicity.md b/papers/relu-neuromanifolds-semi-algebraicity.md new file mode 100644 index 0000000..9e868b9 --- /dev/null +++ b/papers/relu-neuromanifolds-semi-algebraicity.md @@ -0,0 +1,72 @@ +--- +title: "ReLU 神经流形的纤维与半代数性" +created: 2026-06-10 +updated: 2026-06-10 +type: paper +tags: ["neuroalgebraic-geometry", "algebraic-geometry", "neural-networks", "relu", "semi-algebraic"] +sources: ["https://arxiv.org/abs/2606.02826"] +--- + +# ReLU 神经流形的纤维与半代数性 + +**Authors**: Axel Flinth, Stefano Mereta, Michele Pernice (KTH / WASP) +**arXiv**: 2606.02826v1 [math.AG], 2026 + +## 核心问题 + +神经网络的训练在权重空间上进行，但优化目标（损失函数）定义在**神经流形**（[[neuromanifold|neuromanifold]]）——网络能表示的所有函数的空间。参数化映射 Phi: R^M -> M_d 的非单射性（多个权重映射到同一函数）导致： + +- 虚假临界点（权重空间中的临界点并非函数空间中的临界点） +- 奇点和边界点更容易成为临界点 + +理解神经流形的几何结构对理解训练动力学至关重要。 + +## 三大核心贡献 + +### 1. ReLU 神经流形不是半代数商（Theorem 1） + +**定理**：ReLU 网络的神经流形 M_d **不是**权重空间在半代数范畴中的商。 + +即：不存在"好"的半代数结构使得 M_d 成为 R^M / E_Phi 的几何商。反例在浅层网络中构造。 + +### 2. Honest 开子集与隐藏对称性（Conjecture 2） + +引入 **[[honest-open-subset|honest 开子集]]** 概念——参数化映射在该区域无隐藏对称性（所有对称性都是平凡缩放+置换）。 + +三种强度： +- **weakly honest**：Pr(d) 在区域内传递作用于纤维 +- **honest**：Pr(d) 在区域内满射到纤维 +- **strongly honest**：Pr(d) 同构于纤维 + +**猜想**：对任意架构，最大 honest 开集是半代数的。 + +### 3. 浅层网络的 Zariski 开性（Theorem 3） + +对于浅层网络（L=1），最大 honest 开集是 **Zariski 开集**——比半代数更强的结论。 + +## 方法论 + +- **点态半代数性**：通过逐点评价值定义无穷维空间上的半代数结构 +- **Pro-半代数结构**：将神经流形视为有限维半代数空间的范畴极限 +- **群胚视角**：用等价关系 E_Phi 的语言处理商存在性问题（Scheiderer 1989 定理） + +## 与已有工作的关系 + +- [[neuroalgebraic-geometry|神经代数几何]] 对多项式激活函数已有良好理解（[MSM+25] 综述） +- 非多项式激活（ReLU）几乎未知——本文填补此空白 +- 与 [GLR23, GM26] 独立工作，用代数几何替代多面体组合学 +- 与 [AM25] 的输出簇（output varieties）互补——后者固定有限输入集 + +## 相关概念 +- [[neuromanifold|神经流形]] +- [[neuroalgebraic-geometry|神经代数几何]] +- [[semi-algebraic-set|半代数集]] +- [[honest-open-subset|Honest 开子集]] +- [[hidden-symmetries-neural|隐藏对称性]] +- [[parametrization-map|参数化映射]] +- [[scaling-permutation-symmetry|缩放与置换对称性]] +- [[fiber-of-parametrization|参数化纤维]] + +## 来源 +- [arXiv](https://arxiv.org/abs/2606.02826) +- [原始存档](raw/papers/flinth-relu-neuromanifolds-2026.md) diff --git a/papers/repmt-sac.md b/papers/repmt-sac.md new file mode 100644 index 0000000..9ae522f --- /dev/null +++ b/papers/repmt-sac.md @@ -0,0 +1,77 @@ +--- +title: "Learning to Adapt: Representation-Based RL for Multi-Task Skill Transfer" +created: 2026-06-17 +updated: 2026-06-17 +type: paper +tags: [reinforcement-learning, multi-task, robot-control, representation-learning, transfer-learning] +sources: [raw/papers/naveen-repmt-sac-2026.md] +confidence: high +--- + +# RepMT-SAC: 基于表征的多任务强化学习技能迁移 + +> Aryan Naveen (MIT), Haitong Ma, Haldun Balim, Na Li — Harvard SEAS, 2026 +> arXiv: [2606.12890](https://arxiv.org/abs/2606.12890) | cs.RO + +## 核心问题 + +多任务 RL 中不同任务共享相同动力学（如四旋翼在不同轨迹上的飞行动力学相同），但标准 RL 将各任务独立训练，导致**无法复用共享结构**。如何分离任务不变动力学与任务特定奖励，实现跨任务知识复用？ + +## 方法论：RepMT-SAC + +### 谱 MDP 分解 + +将任务条件 Q 函数分解为： + +``` +Q^π(s, a; τ) = ⟨φ(s, a), w^π(τ)⟩ +``` + +- **φ(s, a)**：[[task-invariant-representation|任务不变表征]]——捕获共享动力学 +- **w^π(τ)**：[[task-conditioned-policy|任务条件权重]]——编码任务特定奖励 + +关键创新：φ 与 w 被**明确解耦**——以往方法或混在一起、或通过隐式嵌入学习。 + +### 两阶段学习 + +**上游阶段（Upstream）**： + +1. 从回放缓冲区联合学习 φ(s,a) 和 µ(s')（谱条件密度估计） +2. 任务编码 w(τ;θ) 通过 TD 目标更新（φ 冻结后是**线性回归**，极稳定） +3. 最大熵策略 π(a|s,τ) 从线性 Q 导出 + +**下游阶段（Downstream）**： + +1. **冻结** φ 和 µ（任务不变动力学） +2. 仅**微调** w(τ_new) 和 π_new +3. 大幅减少可训练参数 → 快速少样本适应 + +## 实验：四旋翼轨迹跟踪 + +在 IsaacSim 上评估 [[quadrotor-trajectory-following|四旋翼轨迹跟踪]]： + +- 任务 τ = Legendre 多项式系数（轨迹参数化） +- 源任务 = 低阶多项式基 +- ID 任务 = 基的凸组合 +- OOD 任务 = 高阶 Legendre 多项式（外推） + +| 方法 | 源任务奖励 | ID 零样本 | OOD 少样本 | +|------|----------|----------|----------| +| SAC | 基线 | 泛化差 | 需重训 | +| CTRL-SAC | 较好 | 中等 | 中等 | +| **RepMT-SAC** | **最优** | **+30%** | **最快适应** | + +## 优势分析 + +- **线性 Q 评估**：φ 冻结后 Q 学习变为线性回归，训练极稳定 +- **知识复用**：φ 一次性学好，所有任务受益 +- **快速适应**：OOD 任务仅需微调 w 和 π 的小参数集 +- **理论基础**：谱分解保证表示的可迁移性 + +## 参考 + +- [[spectral-mdp-decomposition|谱 MDP 分解]] +- [[multitask-rl|多任务 RL]] +- [[soft-actor-critic|SAC]] +- [[few-shot-learning|少样本学习]] +- 来源：[原始存档](raw/papers/naveen-repmt-sac-2026.md) diff --git a/papers/tarpo.md b/papers/tarpo.md new file mode 100644 index 0000000..78ed8b7 --- /dev/null +++ b/papers/tarpo.md @@ -0,0 +1,67 @@ +--- +title: "TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization" +created: 2026-06-17 +updated: 2026-06-17 +type: paper +tags: [reasoning, reinforcement-learning, latent-reasoning, architecture, training] +sources: [raw/papers/zhang-tarpo-2026.md] +confidence: high +--- + +# TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization + +> Liting Zhang, Shiwan Zhao, Xuyang Zhao, Zichen Xu, Jianye Wang, Qicheng Li — Nankai University, 2026 +> arXiv: [2606.05859](https://arxiv.org/abs/2606.05859) | Code: [NKU-LITI/TARPO-master](https://github.com/NKU-LITI/TARPO-master) + +## 核心问题 + +[[chain-of-thought|思维链（CoT）]] 依赖于离散 token 生成，导致高维隐藏状态必须在每一步坍缩为单个 token——这构成了信息瓶颈。[[latent-reasoning|潜在推理]] 通过在连续空间中操作克服了这一限制，但连续表征的固有确定性又限制了 [[reinforcement-learning|强化学习]] 中的策略探索。 + +TARPO 解决的核心矛盾：**如何在保持 RL 探索随机性的同时利用连续表征的表达力？** + +## 方法论 + +TARPO 是一个纯 RL 框架，在每个 token 步自适应地在离散 token 生成（hard）和连续潜在推理（soft）之间切换： + +1. **[[action-head-router|动作头路由器]]**：一个轻量级线性投影层，将当前隐藏状态映射到二元的 `{hard, soft}` 决策空间 +2. **[[action-routing-policy|动作路由策略]]**：将推理模式选择形式化为可学习的离散路由策略 ρ_θ +3. **[[token-wise-routing|逐 token 路由]]**：每一步独立决定下一个推理单元是离散 token embedding 还是连续 [[soft-token]] +4. **联合优化**：LLM 骨干和路由器使用共享的 [[group-relative-policy-optimization|Group Relative Advantage]] 信号端到端训练 + +### 关键公式 + +路由策略参数化为 `ρ_θ(·|h_t) = Softmax(W_r h_t + b_r)`，其中 `W_r ∈ R^{2×d}`。 + +动作空间定义为 `A = {soft} ∪ ({hard} × V)`，将路由选择和 token 采样统一在一个框架中。 + +总损失 `L_TARPO = L_tok + λ L_act + β L_KL`，同时优化 token 生成目标和路由策略目标。 + +## 关键发现 + +### 性能提升 +- 在 Qwen2.5 (1.5B/3B/7B) 上平均超越 [[grpo|GRPO]] 0.52% Pass@1 和 1.22% Pass@32 +- 超越 [[hrpo|HRPO]] 0.37% Pass@1 和 1.76% Pass@32 +- 跨架构泛化：Llama-3.1-8B 上同样领先 + +### OOD 泛化 +- HumanEval 上超越 GRPO 4.76% +- 生成 token 数从 400+ 降至 337.9，token 效率大幅提升 + +### 自适应路由行为 +- 路由器学会了在关键数学 token（方程、运算符）上分配更高 soft 概率 +- 在结构转换词（"will", "now we need"）上保持 hard 模式 +- 训练动态稳定，未出现 [[hrpo|HRPO]] 在后期训练中的熵飙升 + +### 消融实验 +- w/ Pure Latent（全 soft token）→ Pass@32 从 82.80% 降至 54.07%（确定性限制探索） +- w/ Entropy Routing（固定启发式阈值）→ 不如可学习的自适应路由 + +## 参考 + +- [[latent-reasoning|潜在推理]] +- [[continuous-representation|连续表征]] +- [[hybrid-reasoning|混合推理]] +- [[reparameterization-exploration|重参数化探索]] +- [[gumbel-softmax|Gumbel-Softmax]] +- [[coconut|COCONUT]] +- 来源：[原始存档](raw/papers/zhang-tarpo-2026.md) diff --git a/papers/ticks-to-flows.md b/papers/ticks-to-flows.md new file mode 100644 index 0000000..9a85a9c --- /dev/null +++ b/papers/ticks-to-flows.md @@ -0,0 +1,73 @@ +--- +title: "From Ticks to Flows: Dynamics of Neural RL in Continuous Environments" +created: 2026-06-17 +updated: 2026-06-17 +type: paper +tags: [reinforcement-learning, theory, continuous-control, stochastic-processes, actor-critic] +sources: [raw/papers/tiwari-ticks-to-flows-2026.md] +confidence: high +--- + +# From Ticks to Flows: Dynamics of Neural Reinforcement Learning in Continuous Environments + +> Saket Tiwari, Tejas Kotwal, George Konidaris — Brown University, ICLR 2026 +> arXiv: [2606.04275](https://arxiv.org/abs/2606.04275) + +## 核心问题 + +[[reinforcement-learning|强化学习]] 中神经网络的函数近似能力已被广泛验证，但**为什么深度 RL 能在连续控制中工作仍缺乏理论理解**。一个关键困难是：RL 的**数据分布随梯度更新而变化**——这与监督学习中静态数据分布形成根本区别。 + +本文将深度 RL 建模为[[continuous-time-rl|连续时间随机过程]]，在[[two-time-scale-process|双时间尺度]]（环境时间 + 梯度时间）下分析学习动态。 + +## 方法论 + +### 探索动力学 + +提出基于 [[stochastic-differential-equation|SDE]] 的探索模型： + +``` +ds_t = (g(s_t) + h(s_t) π(s_t)) dt + h(s_t) dw'_t + σ(s_t) dw_t +``` + +其中策略噪声 `dw'_t` 和环境噪声 `dw_t` 独立，避免传统加性噪声在确定性环境中探索消失的问题。 + +### 双时间尺度公式化 + +- **环境时间** (t)：agent 与环境交互的时间尺度（快） +- **梯度时间** (τ)：参数更新的时间尺度（慢） +- 状态随机变量 `s_{t,τ}` 在两个时钟上同时演化 + +### 理论分析框架 + +1. **[[linearized-neural-network|线性化 NN]]**：在 [[infinite-width-limit|无限宽度极限]] 下，使用 [[neural-tangent-kernel|NTK]] 线性化 +2. **[[ito-calculus|Itô-Taylor 展开]]**：将状态表示为 NN 参数的多项式 +3. **[[martingale-clt|鞅 CLT]]**：推导条件高斯极限 + +## 主要结果（Theorem 6.1） + +在无限宽单隐层 NN 下，actor-critic 的梯度时间动态由一个**仅含 5 个时变变量的封闭系统**完全描述： + +``` +Δs_{t,τ}, Δa_{t,τ}, Δa'_{t,τ}, Δv_{t,τ}, Δv'_{t,τ} +``` + +这是**连续 RL 中首个**描述 NN 参数每一步梯度更新时状态分布变化的方程。 + +## 实验验证 + +- [[linear-quadratic-regulator|LQR]] 环境（ds=1,2,8,32）上验证 episodic continuous-time actor-critic 能学到接近最优策略 +- 探索动力学 > 加性 Wiener 噪声（更好的状态-动作覆盖） +- 理论模型（Theorem 6.1）与经验算法高度一致 + +## 局限与展望 + +- 当前限于光滑动力学、单隐层、渐进宽度 +- 扩展到有限宽度、非光滑激活、高维动作空间是未来方向 + +## 参考 + +- [[continuous-time-rl|连续时间 RL]] +- [[stochastic-differential-equation|SDE]] +- [[reinforcement-learning|强化学习]] +- [[neural-tangent-kernel|NTK]] +- 来源：[原始存档](raw/papers/tiwari-ticks-to-flows-2026.md) diff --git a/papers/weighted-uat-manifolds.md b/papers/weighted-uat-manifolds.md new file mode 100644 index 0000000..0cf0692 --- /dev/null +++ b/papers/weighted-uat-manifolds.md @@ -0,0 +1,73 @@ +--- +title: "Weighted Universal Approximation of Differentiable Maps on Infinite-Dimensional Manifolds" +created: 2026-06-17 +updated: 2026-06-17 +type: paper +tags: [mathematics, functional-analysis, approximation-theory, neural-networks, rough-paths] +sources: [raw/papers/schmocker-weighted-uat-2026.md] +confidence: high +--- + +# 无限维流形上可微映射的加权通用逼近 + +> Philipp Schmocker, Josef Teichmann — 2026 +> arXiv: [2606.09820](https://arxiv.org/abs/2606.09820) | math.FA + cs.LG + math.PR + q-fin.MF | 77页 + +## 核心问题 + +经典[[universal-approximation-theorem|通用逼近定理（UAT）]]保证神经网络可以在紧集上逼近任意连续函数，但它有两个局限： + +1. **只在紧集上**：无法处理随机过程的非紧路径空间 +2. **不含导数逼近**：不能逼近可微映射的导数信息 + +本文将 UAT 推广到**无限维流形上的可微映射**，同时逼近函数值和方向导数，且**不限于紧集**。 + +## 方法论 + +### 函数输入神经网络 (FNN) + +``` +输入 (无穷维流形 M) → 隐藏层 (R^h, 标量激活 σ) → 输出 (Banach 空间 Y) + ↑ 线性读出层 +``` + +FNN 的数学形式：`NN(x) = Σ c_k · σ(ℓ_k(x))`，其中 `ℓ_k` 是连续线性泛函。 + +### 加权 Nachbin 定理 + +核心理论贡献：将经典 [[nachbin-theorem|Nachbin 定理]]（带导数的 Stone-Weierstrass 推广）推广到**加权设置**和**无限维流形**上。 + +- **权重函数** Ψ 控制函数和导数在大紧集外的增长 +- 通过 [[bastiani-calculus|Bastiani 微积分]] 适配 σ-紧空间 +- **有界逼近性质（BAP）** 将有限维结果提升到无穷维 + +### 两大应用 + +1. **[[non-anticipative-functionals|非预期泛函]]**：包括水平导数和垂直导数的逼近 → 随机过程/随机微分方程 +2. **[[signature|签名 (Signature)]]** 的线性函数 → 逼近路径空间泛函及其方向导数 + +## 理论贡献 + +| 定理 | 内容 | +|------|------| +| Nachbin 定理（§3） | 加权子代数稠密 ↔ 分离点 + 非消没 + 包含导数 | +| FNN UAT（§4） | FNN 在加权可微函数空间中稠密 | +| 非预期 UAT（§5） | 逼近非预期泛函的水平/垂直导数 | +| Signature UAT（§6） | Signature 线性函数逼近路径泛函 + 导数 | + +## 数值实验 + +两个数值例子验证理论：FNN 在加权设置下逼近可微映射。 + +## 与机器学习的关系 + +这是一篇 **math.FA 核心论文**——为 neural operators（DeepONets、FNO 等）和 signature methods 提供严格的数学基础。77页的完全自包含证明不依赖数值启发式。 + +## 参考 + +- [[functional-input-neural-networks|FNN]] +- [[universal-approximation-theorem|UAT]] +- [[nachbin-theorem|Nachbin 定理]] +- [[signature|Signature]] +- [[infinite-dimensional-manifolds|无限维流形]] +- 来源：[原始存档](raw/papers/schmocker-weighted-uat-2026.md) diff --git a/papers/xu-life-harness.md b/papers/xu-life-harness.md new file mode 100644 index 0000000..ccbf018 --- /dev/null +++ b/papers/xu-life-harness.md @@ -0,0 +1,61 @@ +--- +title: "Adapting the Interface, Not the Model: Runtime Harness Adaptation for Deterministic LLM Agents" +created: 2026-06-11 +updated: 2026-06-11 +type: paper +tags: [agent, harness, runtime-adaptation, deterministic, cross-model] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +confidence: high +--- + +# Life-Harness：适配接口而非模型 + +> Xu, Wen, Li (Peking University, 2026). arXiv:2605.22166 [cs.AI]. +> 不更新模型权重，而是进化 Runtime Harness（运行时骨架）——在模型-环境接口层进行生命周期感知的适配。 + +## 核心问题 + +LLM Agent 的行为由两部分决定：模型本身 **+** 包裹模型的 Runtime Harness（观察传递、工具调用、动作执行、反馈解释、轨迹控制）。现有方法主要改进模型参数（SFT/RL/Distill），但在**确定性、规则驱动的领域**中，大量失败源于模型-环境**接口层的不匹配**（工具契约误解、不可执行动作、退化轨迹）——而非模型推理能力不足。 + +核心问题：**能否将训练轨迹中反复出现的接口失败模式，转化为固定的 Runtime 接口干预，在不更新模型权重的前提下提升 Agent 表现？** + +## 方法：Life-Harness 生命周期四层架构 + +Life-Harness 将 Agent 交互生命周期分为四个阶段，每层负责一类特定干预： + +### ❶ [[environment-contract-layer|环境契约层]]（交互前） +在模型开始交互前，校准并增强环境可见的契约 C′：补充工具使用规则、策略约束、常见陷阱提示。 + +### ❷ [[procedural-skill-layer|程序技能层]]（任务条件化时） +从训练轨迹中构建技能记忆库 S，基于当前任务描述 BM25 检索相关技能，注入到 system prompt 中提供非参数指导。 + +### ❸ [[action-realization-layer|动作实现层]]（动作生成后、执行前） +基于确定性的环境约束（tool schema、合法动作集、参数要求），对模型输出进行**可执行性验证和规范化**，阻断确定会失败的动作。 + +### ❹ [[trajectory-regulation-layer|轨迹调控层]]（执行后） +监控执行后轨迹，检测**重复、停滞、无效重试、预算耗尽**等退化模式，触发恢复干预。 + +四层在不同阶段协同，模型权重冻结、评估环境不变，仅通过接口层适配实现改进。 + +## 实验亮点 + +- **7 个环境 × 18 个模型**：τ-bench、τ²-bench、AgentBench（Airline/Retail/Telecom/ALFWorld/WebShop/OS/DBBench） +- **116/126 组设置提升**，平均相对增益 **88.5%** +- **跨模型迁移**：仅在 Qwen3-4B-Instruct 上训练的 harness，直接复用于另外 17 个模型 +- **互补于模型训练**：使 Qwen2.5-32B-Instruct 超越其工具微调衍生版 xLAM2-32b-fc-r + +## 失败诊断分类 + +- **动作实现失败**（~23%）：意图合理但格式不可执行 +- **环境契约不匹配**（~33%）：语法正确但违反调用协议 +- **轨迹退化**（~17%）：单步有效但整体陷入重复/停滞 +- **一般推理失败**（~27%）：推理或决策本身错误 + +## 关键洞察 + +这一定位了 [[runtime-interface-adaptation|运行时接口适配]] 作为 [[agent-harness-engineering|模型中心训练]]的互补范式：在确定性领域中，大量"Agent 失败"本质上是**接口工程问题**，而非模型能力问题。 + +## 参考 +- [原始论文存档](raw/papers/xu-life-harness-runtime-adaptation-2026.md) +- 代码: https://github.com/Tianshi-Xu/Life-Harness +- 相关工作: [[agent-harness-engineering|Agent Harness Engineering]]、[[agent-harness-mini|Mini Agent Harness]] diff --git a/papers/xu-why-steering-works.md b/papers/xu-why-steering-works.md new file mode 100644 index 0000000..9e200ef --- /dev/null +++ b/papers/xu-why-steering-works.md @@ -0,0 +1,104 @@ +--- +title: "Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics" +created: 2026-06-01 +updated: 2026-06-01 +type: paper +tags: [steering, interpretability, controllability, llm-dynamics] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# Why Steering Works: 语言模型参数动态的统一视角 + +## 核心问题 + +LLM 控制方法（权重微调、LoRA、激活导向）各自孤立发展，缺少统一的比较框架。本文提出一个统一的动态权重更新视角，将这些方法纳入同一数学框架，并揭示它们共享的 preference–utility 折衷规律。 + +## 统一公式 + +所有干预方法可统一表达为动态权重更新： + +$$h_{i+1} = (W + m_1 \Delta W) h_i + (b + m_2 \Delta b)$$ + +| 方法 | 统一仿射形式 | 激活影响 Δh | 参数规模 | +|------|------------|-----------|---------| +| Local Weight | $(W + m\Delta W)h_i + (b + m\Delta b)$ | $m(\Delta W h_i + \Delta b)$ | $d_{in}\times d_{out} + d_{out}$ | +| LoRA | $(W + mBA)h_i + b$ | $m(BA h_i)$ | $d_{in}\times r + r\times d_{out}$ | +| Steering Vector | $Wh_i + (b + m\Delta b)$ | $m\Delta b$ | $d_{out}$ | + +## Preference–Utility 分析 + +控制效果被分解为两个独立维度： + +- **Preference（偏好）**：模型对目标概念的内在倾向，通过 PrefOdds(q) = log[P(p_p|q)/P(p_n|q)] 量化 +- **Utility（效用）**：模型的通用任务能力（连贯性、指令遵循），通过 UtilOdds(q) 量化 + +两者在 log-odds 共享尺度上测量，使用极性对比示例对 (A_p, A_n)。 + +### 关键发现：三阶段统一动态 + +所有干预形式在 m 变化时呈现一致的动态模式： +1. **线性区**（|m| 小）：偏好 log-odds 随 m 近似线性增长 +2. **过渡区**：趋势明显变化 +3. **收敛区**：曲线平坦化、稳定 + +效用 log-odds 在 m≈0 附近达到峰值，随 |m| 增大逐渐下降。 + +## 激活流形假说 [[activation-manifold]] + +训练引起的激活流形 M_l：对稳定处理的输入，中间层激活高概率位于低维流形 M_l 上或其附近。 + +**有效性衰减**：导向干预将隐藏状态沿固定方向平移。小幅平移可定向调整行为；大幅平移将表示推出训练期间学到的高密度区域，导致解码器失配 → 效用崩溃。 + +定量建模使用 Rational Quadratic (RQ) 衰减形式： + +$$D(m) = \begin{cases} [1 + (m-m_+)^2/L_+]^{-p_+} & m \geq 0 \\ [1 + (m-m_-)^2/L_-]^{-p_-} & m < 0 \end{cases}$$ + +### 偏好 log-odds 拟合 + +$$\log\frac{P(p_p|\tilde{h}(m))}{1-P(p_p|\tilde{h}(m))} = (\alpha_p m + \beta_p) D_p(m) + b_p$$ + +- α_p 测量导向方向与偏好向量的对齐度 +- 拟合 R² > 0.95（绝大多数设置） + +### 效用 log-odds 拟合 + +$$\log\frac{P(u|\tilde{h}(m))}{1-P(u|\tilde{h}(m))} = \beta_u D_u(m) + b_u$$ + +- 对于偏好导向方向，ω_u^T Δh ≈ 0，效用仅通过有效性衰减受影响 +- 拟合 R² > 0.97 + +## SPLIT 方法 [[split-steering]] + +基于机制分析，提出 **S**teering with **P**reference–Uti**L**ity **I**nterven**T**ion： + +- **效用损失**：$L_{util} = \lambda_p L_p + \lambda_n L_n$ — 同时在正负样本上训练以保持通用能力 +- **偏好损失**：$L_{pref} = γ·σ(θ - (L_n - L_p))$ — Hinge margin loss 最大化偏好 gap +- **联合目标**：$L = L_{util} + L_{pref}$ + +在三种干预形式（Local Weight、LoRA、Vector）上均优于 SFT 和 RePS 基线。 + +## 核心贡献 + +1. **统一动态权重更新视角** — 首次将权重微调、LoRA、激活导向纳入同一数学框架 +2. **Preference–Utility 解耦分析** — 在共享 log-odds 尺度上定量刻画控制效果 +3. **激活流形假说** — 将 utility 退化解释为偏离流形导致的有效性衰减 +4. **SPLIT 优化方法** — 联合优化偏好与效用，在多种干预形式上取得最优 + +## 关键概念 + +- [[dynamic-weight-updates]] — 统一的动态权重更新公式 +- [[preference-utility-analysis]] — 偏好与效用的解耦分析框架 +- [[activation-manifold]] — 训练引起的低维激活流形 +- [[validity-decay]] — 偏离流形导致的有效性衰减 +- [[steering-dynamics]] — 三阶段统一导向动态 +- [[split-steering]] — SPLIT 联合优化方法 +- [[preference-log-odds]] — 偏好 log-odds 度量 +- [[intervention-multiplier]] — 干预乘子 m +- [[lora]] — 低秩适配 +- [[activation-steering]] — 激活导向 +- [[linear-representation-hypothesis]] — 线性表示假说 + +## 相关 + +- [[representation-validity]] — 表示有效性与解码器匹配 +- [[model-steering]] — 模型导向控制的更广泛文献 diff --git a/papers/yang-skillopt-2026.md b/papers/yang-skillopt-2026.md index 350117a..2d72dff 100644 --- a/papers/yang-skillopt-2026.md +++ b/papers/yang-skillopt-2026.md @@ -8,11 +8,13 @@ authors: ["Yifan Yang", "Ziyang Gong", "Weiquan Huang", "Qihao Yang", "Ziwei Zho venue: "arXiv cs.AI, May 2026" tags: ["agent", "skill", "optimization", "text-space", "self-evolving"] sources: ["https://arxiv.org/abs/2605.23904"] +code: "https://github.com/microsoft/SkillOpt" --- # SkillOpt: Agent Skill 的文本空间优化器 > **论文**: Yang et al. (Microsoft, SJTU, Tongji, Fudan, 2026) — arXiv:2605.23904 +> **代码**: https://github.com/microsoft/SkillOpt (MIT, 3.7k stars) ## 核心问题 diff --git a/papers/zhang-reconciling-sft-interaction-2026.md b/papers/zhang-reconciling-sft-interaction-2026.md new file mode 100644 index 0000000..715ba03 --- /dev/null +++ b/papers/zhang-reconciling-sft-interaction-2026.md @@ -0,0 +1,88 @@ +--- +title: "Reconciling Contradictory Views on the Effectiveness of SFT in LLMs" +created: 2026-06-03 +updated: 2026-06-03 +type: paper +arxiv_id: "2605.17967" +authors: + - "Junpeng Zhang" + - "Lei Cheng" + - "Guoxi Zhang" + - "Hua Cai" + - "Qing Xu" + - "Quanshi Zhang" +tags: [SFT, interactions, LLM, fine-tuning, interpretability, overfitting, early-stopping] +source: "https://arxiv.org/abs/2605.17967" +--- + +# Reconciling Contradictory Views on the Effectiveness of SFT in LLMs + +**从交互视角调和 LLM 中 SFT 有效性的矛盾观点** + +## 核心问题 + +监督微调（[[supervised-fine-tuning|SFT]]）在小型深度神经网络上广泛有效，但在大语言模型上却表现出不一致甚至有害的效果——有时提升指令遵循能力，有时导致过拟合和泛化能力下降。本文追问的核心科学问题是：**什么内部因素导致了 SFT 在不同 LLM 上效果的不一致？** + +## 方法论：交互基解释 + +作者采用 [[interaction-based-explanation|交互基解释]] 框架，将 LLM 的推理模式分解为一组 [[and-or-interactions|AND-OR 交互]]。每个交互表示输入 token 之间的短语模式——例如 "laws"、"of"、"motion" 三个词共同激活一个交互，为预测 "acceleration" 贡献 +0.41 的置信度。 + +通过构建由 AND-OR 交互组成的 [[logical-model-interaction|逻辑模型]]，可以以高保真度逼近 LLM 的输出分数。这种分解使得追踪 SFT 过程中推理模式的演变成为可能。 + +## 三类交互分析 + +作者将 SFT 过程中的交互变化分为三类： + +| 类型 | 定义 | 特征 | +|------|------|------| +| **[[interaction-types-sft|Removed（被移除）]]** | SFT 前存在，训练中被消除 | 高阶、非泛化、正负效应相互抵消（噪声） | +| **[[interaction-types-sft|Preserved（被保留）]]** | SFT 前后始终存在 | 低阶、泛化性强、未抵消效应比例高（可靠信号） | +| **[[interaction-types-sft|Newly Emerged（新涌现）]]** | SFT 中新习得 | 早期涌现的较可靠；后期涌现的类似噪声 | + +## 核心发现：SFT 的两阶段动力学 + +### 第一阶段：极短的去噪阶段（~1000 步） + +- LLM 在此阶段**主要移除噪声交互**，而非学习新的可靠交互 +- 被移除的交互具有三个噪声特征：高阶复杂、跨模型不泛化（[[interaction-generalizability|γ ≈ 0]]）、正负效应抵消（[[uncancelled-interaction-effects|ρ ≈ 0]]） +- 仅少量低阶交互被保留下来 +- 这是 SFT **唯一有效的阶段** + +### 第二阶段：漫长的过拟合阶段 + +- LLM 开始大量学习新的交互，但这些交互大多是**高阶、非泛化的噪声模式** +- 此阶段涌现的交互与训练-测试损失差距增大强相关 +- 继续训练几乎不再移除交互 +- **持续微调主要引入过拟合模式** + +这一两阶段动力学的关键洞察被称为 [[sft-denoising-stage|SFT 去噪阶段]] 理论。 + +## 保留交互是推理支柱 + +作者进一步验证了 [[preserved-interactions-backbone|保留交互作为推理支柱]] 的假说： + +1. **未抵消效应**：保留交互的 ρ 值最高（正负效应很少抵消），而移除和新涌现的交互 ρ ≈ 0 +2. **单交互贡献**：保留交互和早期涌现交互对目标 token 预测的贡献远大于其他交互 +3. **独立推理能力**：仅使用保留交互进行预测时，测试交叉熵损失最低——甚至优于仅使用新涌现交互 + +> **结论**：SFT 的本质不是"教会 LLM 新能力"，而是"清除预训练中的噪声模式，并巩固已有的可靠推理骨架"。 + +## 实验验证 + +- **模型**：Qwen2.5-3B/7B-Instruct, Llama-2-7B-Chat, Llama-3-8B-Instruct, Gemma-3-4B-it +- **数据集**：GoEmotions, Unilaw-R1-Data, Databricks-Dolly-15k +- **微调方法**：LoRA +- **交互提取**：AND-OR 分解 + LASSO 稀疏化 + +## 实践启示 + +1. **[[sft-early-stopping|SFT 早停策略]]**：交互可作为一种原则性的早停信号——当去噪阶段结束（交互移除趋于饱和），应立即停止训练 +2. **数据规模反思**：收集大规模 SFT 数据的边际价值有限——极少量样本就足以完成去噪 +3. **诊断工具**：交互演变为监控 SFT 提供了可解释、可验证的量化指标 + +## 与现有工作的关联 + +- 与 [[supervised-fine-tuning]] 的争议性文献对话（SFT 提升指令遵循 vs. SFT 导致灾难性遗忘） +- 与 [[interaction-based-explanation]] 的理论基础衔接（Ren et al., Chen et al.） +- 与 [[lora]] 参数高效微调实践兼容 +- 与 [[rlhf]]、[[dpo]] 等替代性后训练范式构成对照 diff --git a/raw/articles/cantor-stole-infinity-2026.md b/raw/articles/cantor-stole-infinity-2026.md new file mode 100644 index 0000000..7268c08 --- /dev/null +++ b/raw/articles/cantor-stole-infinity-2026.md @@ -0,0 +1,64 @@ +--- +title: "窃取无穷的数学家 (The Man Who Stole Infinity)" +source: "Quanta Magazine / 环球科学 2026年6月刊" +author: "约瑟夫·豪利特 (Joseph Howlett)" +translator: "王祎（南开大学哲学院逻辑学博士研究生）" +reviewer: "李娜（南开大学哲学院逻辑学教授）" +date: 2026-06 +type: article +tags: [数学史, 集合论, 无穷, 康托尔, 狄德金, 学术伦理] +url: "https://mp.weixin.qq.com/s/xJwwHWAbBsS8NWiNeLbtNQ" +original_url: "https://www.quantamagazine.org/the-man-who-stole-infinity-2026/" +--- + +# 窃取无穷的数学家 + +> 原刊于 Quanta Magazine，原标题 "The Man Who Stole Infinity"，由《环球科学》2026年6月刊翻译发表。 + +## 概述 + +1874年，格奥尔格·康托尔（Georg Cantor）发表了一篇改变数学史的论文，证明了无穷也有大小之分，开创了集合论。然而，2025年新发现的一批信件揭示：康托尔这篇里程碑式的论文隐藏了另一位数学家——里夏德·狄德金（Richard Dedekind）的关键贡献。 + +## 关键历史节点 + +### 1872年：独立而平行的突破 +康托尔和狄德金各自独立地发表了关于实数定义的论文，重新定义了数轴——证明实数构成了一个没有"缝隙"的完备连续统。 + +### 1872年夏：盖尔绍之遇 +两人在瑞士盖尔绍湖畔初次相遇，一见如故，在湖边漫步讨论数学。27岁的康托尔性格豪爽、急于发表；40岁的狄德金内敛审慎、不急求成。 + +### 1873年：合作与背叛 +康托尔在探索无穷问题时与狄德金频繁通信。狄德金回信提供了代数数可数性证明的关键简化——即代数数集合与整数集合同样大小。康托尔将其纳入自己的论文，同时加入了自己关于实数不可数的证明。 + +### 1874年：论文发表 +康托尔将论文投稿至《克雷勒杂志》（Crelle's Journal）。为避开编辑委员会中反无穷派数学家利奥波德·克罗内克尔（Leopold Kronecker）的阻挠，康托尔选择了误导性的标题，将狄德金的代数数证明作为"特洛伊木马"放在前面，将自己的实数不可数证明藏在后面。他抹去了狄德金贡献的一切痕迹。 + +### 1930年代：诺特揭露真相 +埃米·诺特（Emmy Noether）在整理狄德金遗作时发现了关键信件。狄德金在私人笔记中写道，他的两个证明"几乎一字不差地"以康托尔的名义发表。诺特和卡瓦利斯选择让信件本身说明一切，未公开指控。 + +### 2025年：失踪信件的发现 +科学记者德米安·戈斯（Demian Goos）在哈雷大学的档案中发现了被认为已遗失的狄德金1873年11月30日写给康托尔的信。这封信直接证明了狄德金的关键贡献。 + +## 核心数学内容 + +- **代数数的可数性**：狄德金证明了代数数集合与整数集合之间存在一一对应，即代数数是可数的。 +- **实数的不可数性**：康托尔证明了实数集合的元素多于整数集合，即实数不可数。 +- **无穷层级体系**：这两个结果共同奠定了"存在不同大小的无穷"这一革命性论断。 + +## 学术伦理讨论 + +- 康托尔的声誉未因此事而受损——他仍然是第一个证明实数不可数的人 +- 狄德金长期处于历史阴影中，至今无英文传记 +- "每一门科学分支都需要一位英雄，但这种故事总是谎言。"——何塞·费雷罗斯 + +## 核心概念 + +- [[georg-cantor|格奥尔格·康托尔]] +- [[richard-dedekind|里夏德·狄德金]] +- [[infinity-hierarchy|无穷层级体系]] +- [[countable-uncountable-infinity|可数与不可数无穷]] +- [[algebraic-numbers-countability|代数数的可数性]] +- [[emmy-noether|埃米·诺特]] +- [[leopold-kronecker|利奥波德·克罗内克尔]] +- [[mathematical-priority-disputes|数学优先权争议]] +- [[set-theory-history|集合论史]] diff --git a/raw/articles/lecun-llm-boundary-future-2026.md b/raw/articles/lecun-llm-boundary-future-2026.md new file mode 100644 index 0000000..d844053 --- /dev/null +++ b/raw/articles/lecun-llm-boundary-future-2026.md @@ -0,0 +1,86 @@ +--- +title: "从LLM到世界模型：Yann LeCun的AI架构判断（Datawhale）" +source: https://mp.weixin.qq.com/s/Zau10ioTWzhj0KOImpasNg +authors: ["徐虎", "李盛康", "蒋银河", "黎又榛"] +organization: Datawhale +date: 2026-06 +type: article +tags: [LLM, JEPA, world-model, VLA, objective-driven-AI, LeCun, representation-collapse, SIGReg, Tapestry] +--- + +# 从LLM到世界模型：Yann LeCun的AI架构判断 + +> Datawhale DIY-LLM 开源项目拓展篇，系统梳理 LeCun 对 LLM 未来方向的判断。 +> 项目地址: https://github.com/datawhalechina/diy-llm + +## 核心结论 + +1. **LLM不是终点，但不会消失** — 它会长期作为"语言与知识接口层"存在，是智能系统的"语言皮层"，而非完整大脑。 +2. **"下一词元预测 + 规模化"很难通向通用智能** — 核心缺口：预测行动后果的能力 + 基于搜索的多步规划。 +3. **VLA在当前范式下已接近失败** — LeCun直接判断"VLA pretty much seen as a failure"，核心原因是可靠性不足、数据依赖过重、泛化脆弱。 +4. **世界模型的关键不是"画出世界"，而是"在抽象表征空间预测可控后果"** — 水瓶类比精准揭示了像素级预测的无效性。 +5. **JEPA的价值在于把学习目标从重建细节转向可预测的语义状态** — 成败关键在于防止表示坍缩，当前最有前景的路径是 SIGReg。 +6. **LLM本质上不安全，且在当前范式下无法根本修复** — 目标驱动AI（Objective-Driven AI）才是安全可控智能体的正确架构。 +7. **开源生态最终会赢得平台战争** — Tapestry 联邦训练机制是 LeCun 对主权AI问题的工程回应。 +8. **未来更可能是双系统分工** — LLM负责语言与知识交互，世界模型负责理解物理世界与规划行动。 + +## 全文章节 + +### 一、为什么LLM不是终点? +- 1.1 有意义但不是正确的路线（洗车问题案例：LLM缺少物理约束建模） +- 1.2 LLM为什么会成功？（离散token + 可计算预测目标） +- 1.3 规模化或已触及天花板（高质量文本数据约300万亿Token，数据瓶颈2025-2030） + +### 二、两个核心缺口 +- 缺少预测行动后果的能力 +- 缺少基于搜索的多步规划 +- 这两个缺口不能通过"打补丁"（RAG、Tool Use、CoT等）修复 + +### 三、VLA：为什么这条路走不通 +- VLA失败四个层面：可靠性、数据成本、泛化、规划 +- 产业界仍押注VLA的三个现实原因 +- VLA的适用边界（受控场景有效，无法成为通用机器人底座） + +### 四、世界模型：核心概念与JEPA架构 +- 4.1 世界模型定义：让智能体预测自身行动后果的事物 +- 4.2 水瓶类比：为什么不能用像素级预测 +- 4.3 生成式世界模型 vs JEPA：关键分叉 +- 4.4 LeWorldModel：编码器(ViT-Tiny) + 预测器(Transformer) + SIGReg正则化 +- 4.5 工业应用：世界模型的近期价值 + +### 五、表征坍缩：JEPA最难的技术问题 +- 5.1 定义：模型找到"作弊解"，所有输入映射为同一向量 +- 5.2 三条路线：对比学习、蒸馏方法(BYOL/DINO)、显式正则化(VICReg→SIGReg) +- 5.3 SIGReg核心：Cramér-Wold定理 → 强制嵌入分布匹配各向同性高斯分布 N(0,I) + +### 六、LLM的不安全性与目标驱动AI的出路 +- LLM本质上不安全（无法阻止幻觉、无法预测行动后果） +- 目标驱动AI：通过优化找到最小化代价函数的行动序列，"从构造上无法违反" +- 事前规划 vs 事后约束 + +### 七、Tapestry与主权AI +- 信息食谱与认知主权问题 +- Tapestry联邦训练：共享参数向量而非数据 +- Sun Microsystems类比：开源终将胜出 + +### 八、多层分工的系统图景 +- LLM层（语言与知识接口）→ 世界模型层（预测与规划）→ 目标驱动决策层 +- 系统一(LLM/快速模式匹配) vs 系统二(世界模型/后果模拟) +- 范式转变预测：2027年初共识形成 + +## 关键引用 + +- "智能不是关于预测下一个token，而是关于预测行动的后果。" +- "大语言模型本质上是不安全的，因为它们无法预测其行动后果。" +- "当前形式的大语言模型无法变得可靠，因为无法阻止它们幻觉。" +- "VLA现在基本上被视为失败。" +- "目标驱动AI从构造上就无法违反安全约束。" + +## 参考资料 + +- LeWorldModel Paper: https://arxiv.org/abs/2603.19312 +- When Does LeJEPA Learn a World Model?: https://arxiv.org/abs/2605.26379 +- LeJEPA: Provable and Scalable SSL: https://arxiv.org/pdf/2511.08544.pdf +- Project Tapestry: https://thealliance.ai/projects/tapestry +- VLATest: https://dl.acm.org/doi/10.1145/3729343 +- LIBERO-Plus: https://arxiv.org/html/2510.13626v3 diff --git a/raw/articles/pydantic-three-piece-suite-2026.md b/raw/articles/pydantic-three-piece-suite-2026.md new file mode 100644 index 0000000..334490f --- /dev/null +++ b/raw/articles/pydantic-three-piece-suite-2026.md @@ -0,0 +1,32 @@ +--- +source_url: https://mp.weixin.qq.com/s/jg6lW3ObZooBsrWTGwIcRg +ingested: 2026-06-10 +--- + +# 用了两年 Pydantic，我只碰了三分之一 + +> 微信公众号文章 | 2026年 +> 拆解 Pydantic 生态三件套：pydantic-core (Rust 验证引擎) + Logfire (OTel 可观测) + Pydantic AI (类型安全 Agent 框架) + +## 核心观点 + +Pydantic 不是校验库——是一个由三层组成的生态： +1. **pydantic-core (Rust)**：校验速度 / 脱离 GIL / 多线程并发 +2. **Logfire (OTel)**：可观测性 / 成本监控 / 漂移检测 +3. **Pydantic AI**：Agent 行为约束 / 类型安全的 tool 调用 + +## 关键洞察 + +- **数据源变了**：2018 年校验的是人填的表单（错误模式稳定），2026 年校验的是 LLM 生成的 JSON（错误模式漂移） +- **从"校验"到"可观测"**：不能只看单次报错，要看趋势——哪些字段在漂移、哪个模型输出最不稳定、token 成本是否在涨 +- **工厂质检类比**：手工抽检（V1）→ 传送带自动扫描（strict=True）→ IoT 传感器 + 实时看板（三件套全开） +- **TypeAdapter**：同一份数据，不同严格度——API 入口用 strict，Agent 内部传递用宽松 +- **strict/forbid/frozen 三配置零成本**：不需要装新包，只改 model_config +- **类型从"报错器"变"编译器"**：Pydantic AI 的类型系统在运行时之前就约束了 Agent 的行为空间 +- **诚实边界**：只做 API 校验 → 继续用 pydantic；排障靠 print → 加 Logfire；5+ tool Agent → 考虑 Pydantic AI + +## 渐进路线图 + +1. 今天：所有 BaseModel 加 strict + forbid + validate_default +2. 这周（如有 Agent）：装 Logfire，4 行代码 +3. 下次新 Agent 项目：tool > 3 时用 Pydantic AI diff --git a/raw/articles/qifu-llm-finance-practice-2026.md b/raw/articles/qifu-llm-finance-practice-2026.md new file mode 100644 index 0000000..442b9fa --- /dev/null +++ b/raw/articles/qifu-llm-finance-practice-2026.md @@ -0,0 +1,39 @@ +--- +source_url: https://mp.weixin.qq.com/s/UnA-OLSc0mVqe7KyBX7yJw +ingested: 2026-06-14 +sha256: skip +--- + +# 金融行业大模型落地实践：从知识工程到后训练部署 + +**分享嘉宾:** 王元，奇富科技 DeepBank 算法组负责人 +**活动:** 2026 DA 上海站 +**出品社区:** DataFun +**校对:** 韩珊珊 + +## 全文摘要 + +金融行业是大模型落地的"深水区"：业务逻辑复杂、数据合规严格、算力预算有限。通用大模型进入银行或金融科技公司的生产环境，面临无标注数据、无操作手册、无充裕 GPU、甚至"标准答案"缺失的窘境。 + +## 核心内容 + +### 冰山难题 +- 零数据困境：输入 X 和标签 Y 都不存在，监督微调无法启动 +- 评估盲区：生成式输出缺乏标准答案，难以客观量化评估 +- 算力与合规壁垒：必须本地化部署，受限硬件预算 + +### 数据与知识工程 +- 基于 REER 算法的逆向知识提炼：从 QA 对中反向提取业务手册的四步流程 +- 多维合成数据策略：客户/场景/录制人三维度构建训练数据多样性 +- LLM Wiki 方法：参考 Anthropic Captain 的 Markdown+Git 知识库方案 + +### 后训练与部署 +- APO 自动提示工程：作为高质量 Base Prompt 的基线生成器 +- 后训练成本博弈：SFT < 后置推理 RL < 前置推理 RL +- MOE 模型 + LoRA 工具链冲突（VeRL 不支持） +- AI Agent 辅助模型训练自动化 +- 推理加速：MOE 架构 + Int8 量化 + vLLM + +### 情绪价值评估 +- "先看着对，后用着有效果"：心理学方法构建评估器 +- 在商业签单阶段优先提供情绪价值，再追求硬指标 diff --git a/raw/papers/advances-temporal-point-processes-2026.md b/raw/papers/advances-temporal-point-processes-2026.md new file mode 100644 index 0000000..5eb425c --- /dev/null +++ b/raw/papers/advances-temporal-point-processes-2026.md @@ -0,0 +1,35 @@ +--- +source_url: https://openreview.net/forum?id=SXgGKkShhT +ingested: 2026-06-16 +sha256: placeholder +--- + +# Advances in Temporal Point Processes: Bayesian, Neural, and LLM Approaches + +**Authors:** Feng Zhou (Renmin Univ.), Quyu Kong (Independent), Jie Qiao (Guangdong Univ. of Tech.), Cheng Wan (Renmin Univ.), Yixuan Zhang (Southeast Univ.), Ruichu Cai (Guangdong Univ. of Tech.) + +**Venue:** Transactions on Machine Learning Research (TMLR), June 2026 + +**OpenReview:** https://openreview.net/forum?id=SXgGKkShhT + +## Abstract + +Temporal point processes (TPPs) are stochastic process models used to characterize event sequences occurring in continuous time. Traditional statistical TPPs have a long-standing history, with numerous models proposed and successfully applied across diverse domains. In recent years, advances in deep learning have spurred the development of neural TPPs, enabling greater flexibility and expressiveness in capturing complex temporal dynamics. The emergence of large language models (LLMs) has further sparked excitement, offering new possibilities for modeling and analyzing event sequences by leveraging their rich contextual understanding. This survey presents a comprehensive review of recent research on TPPs from three perspectives: Bayesian, deep learning, and LLM approaches. We begin with a review of the fundamental concepts of TPPs, followed by an in-depth discussion of model design and parameter estimation techniques in these three frameworks. We also revisit classic application areas of TPPs to highlight their practical relevance. Finally, we outline challenges and promising directions for future research. + +## Taxonomy (Figure 1) + +1. **TPP Preliminaries** — Unmarked TPP, Marked TPP, conditional intensity function +2. **Bayesian TPPs** — Parametric Bayesian TPPs, Bayesian Nonparametric Poisson Process, Bayesian Nonparametric Hawkes Process +3. **Neural TPPs** — Recurrent Neural TPPs, Autoregressive (Transformer) TPPs, Diffusion-based TPPs, Parameterization choices +4. **LLM-based TPPs** — LLM-inspired TPPs (PromptTPP, LAMP), Direct LLM-TPP Integration (TPP-LLM, Language-TPP), Multimodal extensions +5. **Datasets & Benchmarks** — EasyTPP, DanmakuTPPBench +6. **Training Methods** — MLE, Wasserstein, NCE, Score Matching, Fisher Divergence +7. **Applications** — Event Prediction (social, epidemiology, finance, recommendation), Causal Discovery (neuroscience, finance, AI ops, cybersecurity) +8. **Challenges** — Data/model heterogeneity, interpretability, scalability, sampling efficiency, multimodal modeling + +## Key Contributions + +1. First survey to cover TPPs across Bayesian, neural, AND LLM paradigms in a unified framework +2. Emphasis on Bayesian nonparametric TPPs (overlooked in prior surveys) +3. Systematic review of LLM-based TPPs (nascent area, not previously surveyed) +4. Comprehensive taxonomy bridging statistical rigor, neural flexibility, and LLM capabilities diff --git a/raw/papers/anthonio-principled-uncertainty-clinical-ai-2026.md b/raw/papers/anthonio-principled-uncertainty-clinical-ai-2026.md new file mode 100644 index 0000000..9828eaf --- /dev/null +++ b/raw/papers/anthonio-principled-uncertainty-clinical-ai-2026.md @@ -0,0 +1,43 @@ +--- +title: "Principled Uncertainty in Clinical AI: End-to-End Bayesian Modelling and Algorithmic Equity Auditing Across Multimodal Patient Data" +source: "arXiv:2606.09789v1" +authors: "Oladimeji Anthonio, Dimeji Abdulsobur Olawuyi, Oloruntoba Ajayi, Temiloluwa Aderemi, Joseph Odamo" +affiliation: "Centre for Algorithmic Health Equity, University of Ibadan, FUTA" +year: 2026 +category: "cs.CY" +published: "2026-06-08" +--- + +# Principled Uncertainty in Clinical AI: End-to-End Bayesian Modelling and Algorithmic Equity Auditing Across Multimodal Patient Data + +**Authors**: Oladimeji Anthonio*, Dimeji Abdulsobur Olawuyi, Oloruntoba Ajayi, Temiloluwa Aderemi, Joseph Odamo +**arXiv**: 2606.09789v1 [cs.CY] +**Published**: 2026-06-08 +**Affiliation**: Centre for Algorithmic Health Equity, Ìyàwó, Ibadan; University of Ibadan; FUTA Akure + +## Abstract + +Clinical artificial intelligence (AI) systems routinely produce predictions without principled quantification of uncertainty, limiting their trustworthiness in high-stakes medical environments. This paper presents an integrated research programme addressing two interconnected problems: (1) the development of a fully end-to-end Bayesian uncertainty modelling framework for multimodal clinical data, and (2) the application of calibrated uncertainty estimates as a formal measure of algorithmic equity across patient subgroups. + +The architecture comprises modality-specific variational encoders, a precision-weighted late fusion mechanism, and a decomposed uncertainty output head that separates aleatoric from epistemic uncertainty. The system is trained with a composite Bayesian loss incorporating binary cross-entropy, KL divergence regularisation, and an uncertainty calibration penalty. + +**Key Results**: +- ECE = 0.096 (well-calibrated) +- Primary/rural facility patients: 15.3% uncertainty equity gap (p < 0.001, r = 0.698) +- Low SES patients: 6.8% gap (p < 0.001, r = 0.617) +- Elderly patients: 3.9% gap (p < 0.001) +- No significant sex-based disparity detected + +## Key Concepts +- [[epistemic-uncertainty]] — reducible, model-knowledge uncertainty +- [[aleatoric-uncertainty]] — irreducible, data-noise uncertainty +- [[uncertainty-quantification]] — probabilistic prediction framework +- [[bayesian-deep-learning]] — variational inference in neural networks +- [[expected-calibration-error]] — calibration metric (ECE) +- [[uncertainty-equity-gap]] — UEG equity metric +- [[uncertainty-disparity-ratio]] — UDR equity metric +- [[precision-weighted-fusion]] — multimodal late fusion +- [[mc-dropout]] — Monte Carlo Dropout for uncertainty +- [[algorithmic-equity]] — algorithmic fairness +- [[clinical-ai]] — clinical artificial intelligence +- [[variational-autoencoder]] — VAE foundation diff --git a/raw/papers/arora-minimax-policy-regret-pomg-2026.md b/raw/papers/arora-minimax-policy-regret-pomg-2026.md new file mode 100644 index 0000000..3da87b7 --- /dev/null +++ b/raw/papers/arora-minimax-policy-regret-pomg-2026.md @@ -0,0 +1,37 @@ +--- +title: "Minimax-Optimal Policy Regret in Partially Observable Markov Games" +source: "arXiv:2606.02363v1" +authors: "Raman Arora" +affiliation: "Johns Hopkins University" +year: 2026 +category: "cs.LG, stat.ML" +published: "2026-06-01" +venue: "ICML 2026" +--- + +# Minimax-Optimal Policy Regret in Partially Observable Markov Games + +**Author**: Raman Arora (Johns Hopkins University) +**arXiv**: 2606.02363v1 [cs.LG, stat.ML] +**Venue**: ICML 2026, Seoul +**Published**: 2026-06-01 + +## Abstract + +We study sequential decision-making in partially observable environments against strategic, adaptive opponents, modeled as partially observable Markov games (POMGs). The central challenge is to learn latent dynamics from partial observations while facing an adversary whose behavior depends on the learner's strategy, making standard regret notions inadequate. + +We prove that an epoch-based optimistic maximum-likelihood algorithm achieves O~(sqrt(T)) policy regret, with explicit dependence on the horizon, adversary memory, confidence radius, and the aggregate Eluder dimension of the observable-operator class. A matching lower bound confirms minimax optimality. Extensions include horizon-adaptive guarantees and adversaries with geometric fading memory. + +## Key Concepts +- [[partially-observable-markov-game|POMG]] — core model: partial observability + strategic adversary +- [[policy-regret|Policy Regret]] — counterfactual regret against adaptive opponents +- [[eluder-dimension|Eluder Dimension]] — sequential complexity measure +- [[observable-operator-model|OOM]] — operator-based representation of POMG dynamics +- [[posterior-lipschitz-adversary|Posterior-Lipschitz Adversary]] — smoothness assumption +- [[weak-revealing-condition|Weak Revealing]] — observation informativeness condition +- [[causal-decomposition-pomg|Causal Decomposition]] — separating world from adversary +- [[epoch-based-optimistic-mle|Epoch-based Optimistic MLE]] — the algorithm +- [[minimax-optimality|Minimax Optimality]] — matching upper and lower bounds +- [[pomdp|POMDP]] — single-agent precursor +- [[adaptive-adversary|Adaptive Adversary]] — strategic opponent model +- [[fading-memory|Fading Memory]] — adversary memory extension diff --git a/raw/papers/chen-bellman-taylor-score-2026.md b/raw/papers/chen-bellman-taylor-score-2026.md new file mode 100644 index 0000000..c5c7111 --- /dev/null +++ b/raw/papers/chen-bellman-taylor-score-2026.md @@ -0,0 +1,28 @@ +--- +title: "Bellman–Taylor Score Decoding for MDPs with State-Dependent Feasible Action Sets" +source_url: https://arxiv.org/abs/2606.10979 +ingested: 2026-06-17 +sha256: +--- + +# Bellman–Taylor Score Decoding for MDPs with State-Dependent Feasible Action Sets + +**Authors:** Yi Chen, Rushuai Yang, Qiang Chen, Dongyan (Lucy) Huo — HKUST, Dept. of IEDA + +**arXiv:** 2606.10979v1 [cs.AI] (2026-06-09) + +## Abstract + +Proposes Bellman–Taylor score decoding, a framework that moves policy learning to a Euclidean score space while enforcing feasibility through an action decoder. Motivated by a Taylor expansion of the optimal action-value function. The induced latent-score MDP can then be optimized by standard DRL algorithms without differentiating through the decoder. Provides a performance guarantee: optimality gap = structural approximation error + algorithmic learning error. Applied to queueing network control, learning a state-dependent index-based dispatching rule. + +## Key Concepts + +- [[bellman-taylor-score-decoding|Bellman-Taylor 得分解码]] +- [[latent-score-mdp|潜在得分 MDP]] +- [[state-dependent-feasible-action-sets|状态依赖可行动作集]] +- [[action-decoder|动作解码器]] +- [[post-action-configuration|后动作配置]] +- [[taylor-expansion-q-function|Q 函数 Taylor 展开]] +- [[queueing-network-control|排队网络控制]] +- [[btsd-ppo|BTSD-PPO]] +- [[continuation-value-function|延续价值函数]] diff --git a/raw/papers/chen-token-economics-llm-agents-2026.md b/raw/papers/chen-token-economics-llm-agents-2026.md new file mode 100644 index 0000000..64bf083 --- /dev/null +++ b/raw/papers/chen-token-economics-llm-agents-2026.md @@ -0,0 +1,25 @@ +# Token Economics for LLM Agents: A Dual-View Study from Computing and Economics + +**Authors:** Yuxi Chen\*, Junming Chen\*, Chenyu He\*, Yiwei Li\*, Yicheng Ji\*, Yifan Wu\*, Dingyu Yang, Lansong Diao, Lidan Shou, Hongliang Zhang, Huan Li, Gang Chen +**Affiliations:** Zhejiang University (CS + Economics), Alibaba Cloud +**arXiv:** [2605.09104](https://arxiv.org/abs/2605.09104) (v1, May 2026) +**Venue:** cs.AI (Survey) +**GitHub:** [SuDIS-ZJU/Token-Economics](https://github.com/SuDIS-ZJU/Token-Economics) + +--- + +## Abstract + +As LLM agents evolve, tokens have emerged as the core economic primitives of Agentic AI. However, their exponential consumption introduces severe computational, collaborative, and security bottlenecks. Current surveys remain fragmented across system optimization, architecture design, and trust, lacking a unified framework to evaluate the fundamental trade-off between output quality and economic cost. To bridge this gap, this survey presents the first comprehensive survey of **Token Economics**. By unifying computer science and economics, we conceptualize tokens as **production factors, exchange mediums, and units of account**. We synthesize existing literature across a **four-dimensional taxonomy**: (1) Micro-level (Single Agent): Optimizing budget-constrained factor substitution via neoclassical firm theory. (2) Meso-level (Multi-Agent Systems): Minimizing collaboration friction using transaction cost and principal-agent theories. (3) Macro-level (Agent Ecosystems): Addressing congestion externalities and pricing via mechanism design. (4) Security: Internalizing adversarial threats as endogenous economic constraints. Finally, we outline frontier directions, including differentiable token budgets and dynamic markets. + +## Key Concepts + +- [[token-economics]] — the unified dual-view framework +- [[token-as-economic-primitive]] — tokens as production factors, exchange mediums, units of account +- [[micro-level-token-economics]] — single-agent budget-constrained optimization +- [[meso-level-token-economics]] — multi-agent collaboration friction +- [[macro-level-token-economics]] — ecosystem-level congestion and pricing +- [[token-security-economics]] — adversarial threats as endogenous constraints +- [[agent-token-budget-optimization]] — factor substitution and budget allocation +- [[differentiable-token-budgeting]] — frontier: learnable token budgets +- [[token-market-dynamics]] — real-time token markets and dynamic pricing diff --git a/raw/papers/cheng-flex4dhuman-2026.md b/raw/papers/cheng-flex4dhuman-2026.md new file mode 100644 index 0000000..603b3f1 --- /dev/null +++ b/raw/papers/cheng-flex4dhuman-2026.md @@ -0,0 +1,39 @@ +--- +source_url: https://arxiv.org/abs/2606.13655 +ingested: 2026-06-13 +sha256: flex4dhuman-raw-v1 +--- + +# Flex4DHuman: Flexible Multi-view Video Diffusion for 4D Human Reconstruction + +**arXiv:** 2606.13655 +**Authors:** Jen-Hao Cheng (UW), Yipeng Wang (World Labs), Hao Zhang (World Labs), Gengshan Yang (World Labs), Jenq-Neng Hwang (UW) +**Categories:** cs.CV, cs.GR +**Published:** 2026-06-11 + +## Abstract + +We present Flex4DHuman, a multi-view video diffusion model that transforms a monocular or sparse multi-view video of a dynamic subject into synchronized dense multi-view videos using only relative camera-pose conditioning. Unlike prior human-centric methods that rely on skeletons, depth maps, normals, or rendered target-view geometry, Flex4DHuman requires no explicit geometry priors and instead conditions generation through relative camera-pose positional encoding. The generated videos can be directly ingested by downstream reconstruction pipelines to create dynamic 4D Gaussian splats. Built on Wan 2.1's 1.3B text-to-video model, Flex4DHuman preserves the backbone architecture and encodes camera and view information through a five-axis positional encoding that extends spatio-temporal RoPE with view indices and continuous SE(3) relative camera geometry. A three-stage curriculum progressively trains the model for pose following, flexible reference-to-target view generation, and temporal rollout. To support temporal rollout, we train with clean historical target-view tokens. We also add multi-view captions to enable test-time text control. Combined with an off-the-shelf 4D Gaussian Splatting stage, our framework lifts monocular static-camera videos into dynamic 4D Gaussian splats. + +## Key Contributions + +1. **Multi-view video diffusion without explicit geometry priors** — Adapts Wan 2.1 using only relative camera-pose positional encoding +2. **Flexible synchronized generation** — Supports monocular and variable sparse-view inputs, arbitrary target viewpoints, and temporal rollout +3. **Monocular video to 4D Gaussian splats** — Generated multi-view videos feed into FreeTimeGS for dynamic reconstruction + +## Key Concepts + +- [[five-axis-positional-encoding]]: (time, view, SE(3), h, w) RoPE extension +- [[se3-relative-camera-encoding]]: Continuous SE(3) camera geometry via PRoPE +- [[clean-conditioning-mask]]: Binary mask distinguishing reference vs target tokens +- [[three-stage-curriculum-training]]: Stage 1 pose following → Stage 2 dynamic refs → Stage 3 temporal rollout +- [[temporal-rollout]]: Chunked inference with teacher-forced history overlap +- [[multi-view-captioning]]: Gemini 3 Flash generated appearance captions + +## Results + +- DNA-Rendering: +1.21 dB PSNR over Diffuman4D-GT-skeleton (25.44 dB) +- Zero-shot ActorsHQ: +3.35 dB PSNR over Diffuman4D-mono-skeleton (21.32 dB) +- Generalizes to animals (DFA) after fine-tuning +- Robust to reference view azimuth (<1 dB variation) +- Monotonically improves with more reference views diff --git a/raw/papers/flinth-relu-neuromanifolds-2026.md b/raw/papers/flinth-relu-neuromanifolds-2026.md new file mode 100644 index 0000000..0cc2506 --- /dev/null +++ b/raw/papers/flinth-relu-neuromanifolds-2026.md @@ -0,0 +1,29 @@ +--- +title: "On the fibers and semi-algebraicity of ReLU neuromanifolds" +source: "arXiv:2606.02826v1" +authors: "Axel Flinth, Stefano Mereta, Michele Pernice" +affiliation: "KTH Royal Institute of Technology / WASP" +year: 2026 +category: "math.AG" +published: "2026-06-01" +--- + +# On the fibers and semi-algebraicity of ReLU neuromanifolds + +**Authors**: Axel Flinth, Stefano Mereta, Michele Pernice +**arXiv**: 2606.02826v1 [math.AG] +**Published**: 2026-06-01 + +## Abstract + +We study the semi-algebraicity of the neuromanifold M_d of a feedforward ReLU neural network and its symmetries. We prove that M_d is not a semi-algebraic quotient of the space of weights. We introduce honest open subsets where the network shows no hidden symmetries, conjecture the maximal honest open is always semi-algebraic, and prove it is Zariski open in the shallow case. + +## Key Concepts +- [[neuromanifold|Neuromanifold]] — function space parametrized by network weights +- [[neuroalgebraic-geometry|Neuroalgebraic Geometry]] — algebro-geometric study of neural networks +- [[semi-algebraic-set|Semi-algebraic Set]] — sets defined by polynomial equalities/inequalities +- [[honest-open-subset|Honest Open Subset]] — region free of hidden symmetries +- [[hidden-symmetries-neural|Hidden Symmetries]] — symmetries beyond scaling and permutation +- [[parametrization-map|Parametrization Map]] — weight-to-function mapping +- [[scaling-permutation-symmetry|Scaling & Permutation Symmetries]] — trivial NN symmetries +- [[fiber-of-parametrization|Fiber of Parametrization]] — preimage of a function diff --git a/raw/papers/goru-one-pass-to-reason-2025.md b/raw/papers/goru-one-pass-to-reason-2025.md new file mode 100644 index 0000000..3d6699a --- /dev/null +++ b/raw/papers/goru-one-pass-to-reason-2025.md @@ -0,0 +1,43 @@ +--- +title: "One-Pass to Reason: Token Duplication and Block-Sparse Mask for Efficient Fine-Tuning on Multi-Turn Reasoning" +authors: "Ritesh Goru, Shanay Mehta, Prateek Jain" +venue: "ICML 2025 Workshop: 3rd Workshop on Efficient Systems for Foundational Models" +year: 2025 +arxiv: "2504.18246" +code: "https://github.com/devrev/One-Pass-to-Reason" +dataset: "https://huggingface.co/datasets/devrev-research/MathChatSync-reasoning" +type: paper +tags: [efficient-fine-tuning, multi-turn-reasoning, attention-mask, token-duplication, single-pass-training] +--- + +## Abstract + +Fine-tuning Large Language Models (LLMs) on multi-turn reasoning datasets requires N (number of turns) separate forward passes per conversation due to reasoning token visibility constraints, as reasoning tokens for a turn are discarded in subsequent turns. We propose duplicating response tokens along with a custom attention mask to enable single-pass processing of entire conversations. We prove our method produces identical losses to the N-pass approach while reducing time complexity from O(N³) to O(N²) and maintaining the same memory complexity for a transformer based model. Our approach achieves significant training speedup while preserving accuracy. Our implementation is available online. + +## Core Problem + +Reasoning models (e.g., DeepSeek-R1) generate internal reasoning tokens, produce a response, and then discard the reasoning tokens from context in subsequent turns. This creates: + +1. **Visibility Constraints**: Reasoning tokens must be visible during generation but hidden from subsequent turns — static attention masks cannot satisfy this +2. **Position ID Discrepancy**: Response tokens follow reasoning tokens during generation but directly follow human messages in later context + +## Method + +1. **Token Duplication**: Duplicate response tokens so ri_in (context copy) does not attend to reasoning, while ri_out (generation copy) does +2. **Custom Block-Sparse Attention Mask**: Single mask with visibility rules per token type +3. **Strategic Position ID Assignment**: Maintains correct relative positions equivalent to N-pass +4. **Theorem 2.1**: Proves loss equivalence L_N-Pass(c) = L_1-Pass(c) + +## Results + +- 1.05×–1.22× faster than FlashAttention-2 N-Pass with packing (Qwen-3 4B, 8B, 32B) +- 1.44×–1.54× faster than FlexAttention N-Pass with packing +- ~33% more GPU memory +- Speedups grow with conversation depth (O(N²) vs O(N³) theoretical advantage) +- K-Pass variant allows speed–memory trade-off + +## Key Contributions + +1. Theoretical framework for single-pass multi-turn reasoning training +2. MathChatSync Reasoning dataset (first public multi-turn reasoning dataset with explicit per-turn reasoning) +3. Comprehensive empirical validation on Qwen-3 models using QLoRA diff --git a/raw/papers/liu-auditing-agent-harness-safety-2026.md b/raw/papers/liu-auditing-agent-harness-safety-2026.md new file mode 100644 index 0000000..db12dc4 --- /dev/null +++ b/raw/papers/liu-auditing-agent-harness-safety-2026.md @@ -0,0 +1,29 @@ +# Auditing Agent Harness Safety + +**Authors:** Chengzhi Liu\*, Yichen Guo\*, Yepeng Liu, Yuzhe Yang, Qianqi Yan, Xuandong Zhao, Wenyue Hua, Sheng Liu, Sharon Li, Yuheng Bu, Xin Eric Wang +**Affiliations:** UC Santa Barbara, UC Berkeley, Stanford University, UW–Madison, Microsoft Research +**arXiv:** [2605.14271](https://arxiv.org/abs/2605.14271) (v2, May 2026) +**Venue:** cs.CL +**Project Page:** [harnessaudit.github.io](https://harnessaudit.github.io) + +--- + +## Abstract + +LLM agents increasingly run inside execution harnesses that dispatch tools, allocate resources, and route messages between specialized components. However, a harness can return a correct, benign answer over a trajectory that accesses unauthorized resources or leaks context to the wrong agent. Output-level evaluation cannot see these failures, yet most safety benchmarks score only final outputs or terminal states, even though many violations occur mid-trajectory rather than at termination. The central question is whether the harness respects user intent, permission boundaries, and information-flow constraints throughout execution. To address this gap, we propose **HarnessAudit**, a framework that audits full execution trajectories across **boundary compliance**, **execution fidelity**, and **system stability**, with a focus on multi-agent harnesses where these risks are most pronounced. We further introduce **HarnessAudit-Bench**, a benchmark of 210 tasks across eight real-world domains, instantiated in both single-agent and multi-agent configurations with embedded safety constraints. Evaluating ten harness configurations across frontier models and three multi-agent frameworks, we find that: (i) task completion is misaligned with safe execution, and violations accumulate with trajectory length; (ii) safety risks vary across domains, task types, and agent roles; (iii) most violations concentrate in resource access and inter-agent information transfer; (iv) multi-agent collaboration expands the safety risk surface, while harness design sets the upper bound of safe deployment. + +## Key Concepts + +- [[agent-harness-safety]] — the core paradigm +- [[harnessaudit]] — the auditing framework +- [[boundary-compliance]] — L1: tool, resource, information-flow violations +- [[execution-fidelity]] — L2: action validity, checkpointed completion +- [[system-stability]] — L3: perturbation resilience +- [[trajectory-auditing]] — trajectory-level evidence collection +- [[multi-agent-safety]] — multi-agent coordination safety risks +- [[information-flow-control]] — inter-agent communication constraints +- [[resource-access-control]] — resource scope enforcement +- [[safety-adherence-rate]] — SAR scoring metric +- [[policy-constrained-execution]] — formal harness model +- [[execution-harness]] — harness as policy-constrained execution system +- [[hidden-audit-channel]] — agent-independent evidence recording diff --git a/raw/papers/ma-intragent-2026.md b/raw/papers/ma-intragent-2026.md new file mode 100644 index 0000000..48c5008 --- /dev/null +++ b/raw/papers/ma-intragent-2026.md @@ -0,0 +1,57 @@ +--- +title: "IntrAgent: An LLM Agent for Content-Grounded Information Retrieval through Literature Review" +type: raw-paper +arxiv: "2604.22861" +year: 2026 +authors: "Fengbo Ma, Zixin Rao, Xiaoting Li, Zhetao Chen, Hongyue Sun, Yiping Zhao, Xianyan Chen, Zhen Xiang" +venue: "arXiv 2026" +code: "https://github.com/FengboMa/IntrAgent" +dataset: "https://huggingface.co/datasets/IntrAgent/IntraBench" +project: "https://intragent.github.io/" +--- + +# IntrAgent: An LLM Agent for Content-Grounded Information Retrieval through Literature Review + +**Authors:** Fengbo Ma*, Zixin Rao*, Xiaoting Li, Zhetao Chen, Hongyue Sun, Yiping Zhao, Xianyan Chen†, Zhen Xiang† +**Affiliation:** University of Georgia, Athens, GA, USA +**arXiv:** 2604.22861 +**Date:** April 23, 2026 + +## Abstract + +Scientific research relies on accurate information retrieval from literature to support analytical decisions. In this work, we introduce a new task, INformation reTRieval through literAture reVIEW (IntraView), which aims to automate fine-grained information retrieval faithfully grounded in the provided content in response to research-driven queries, and propose IntrAgent, an LLM-based agent that addresses this challenging task. In particular, IntrAgent is designed to mimic human behaviors when reading literature for information retrieval – identifying relevant sections and then iteratively extracting key details to refine the retrieved information. It follows a two-stage pipeline: a Section Ranking stage that prioritizes relevant literature sections through structural-knowledge-enabled reasoning, and an Iterative Reading stage that continuously extracts details and synthesizes them into concise, contextually grounded answers. To support rigorous evaluation, we introduce IntraBench, a new benchmark consisting of 315 test instances built from expert-authored questions paired with literature spanning five STEM domains. Across seven backbone LLMs, IntrAgent achieves on average 13.2% higher cross-domain accuracy than state-of-the-art RAG and research-agent baselines. + +## Key Contributions + +1. **IntraView Task** — A novel task for accurate, automated, and content-grounded information retrieval from a provided scientific literature. +2. **IntrAgent Framework** — An LLM agent with a two-stage pipeline (Section Ranking + Iterative Reading) that mimics human reading behavior. +3. **Hierarchy Preservation** — Leverages structural knowledge of scientific documents for more effective section ranking. +4. **Sufficiency Check** — Mitigates hallucination by explicitly assessing whether accumulated information is adequate to answer the query. +5. **IntraBench** — The first benchmark for evaluating IntraView, with 315 test instances across five domains (physics, earth science, public health, engineering, material science). + +## Method Overview + +### Section Ranking +1. **Section Heading Parsing**: Convert literature to Markdown with minerU for layout/section detection. +2. **Hierarchy Preservation**: Construct a section tree from headings using LLM-based hierarchy inference. +3. **Reasoning-Based Ranking**: LLM ranks sections by relevance to the research question via structure-aware reasoning. + +### Iterative Reading +- **Reordered Section Access**: Read sections in descending relevance order. +- **Section Detail Extraction**: Extract key scientific details (terminology, numbers, experiments, statistics, conclusions). +- **Information Sufficiency Check**: LLM evaluates whether accumulated details are sufficient; terminates or continues reading. +- **Confidence-Based Reading Styles**: Conservative, balanced (default), and aggressive modes to control operational overhead. +- **Final Answer Synthesis**: Synthesize answer from all accumulated details. + +## Evaluation + +- **IntraBench**: 315 test instances across physics, earth science, public health, engineering, material science. +- **LLM-Grounded Multiple-Choice Evaluation**: LLM maps generated free-form answers to multiple-choice candidates, addressing synonym/abbreviation challenges. +- **Baselines**: RAG systems (vanilla RAG, re-ranking, contextual retrieval) and literature agents (PaperQA2, QASA, SciMaster). +- **Results**: 13.2% average cross-domain accuracy improvement over baselines across 7 backbone LLMs. + +## Key Design Insights + +- Structural knowledge (section hierarchy) is critical for accurate section ranking — semantic similarity alone insufficient. +- Sufficiency check prevents both hallucination (premature answer with insufficient evidence) and over-reading. +- The framework can handle queries where the answer is NOT present in the literature (through explicit "None of the above" handling). diff --git a/raw/papers/maes-leworldmodel-2026.md b/raw/papers/maes-leworldmodel-2026.md new file mode 100644 index 0000000..d5a8704 --- /dev/null +++ b/raw/papers/maes-leworldmodel-2026.md @@ -0,0 +1,88 @@ +--- +title: "LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels" +authors: ["Lucas Maes", "Quentin Le Lidec", "Damien Scieur", "Yann LeCun", "Randall Balestriero"] +arxiv: "2603.19312v3" +published: "2026-03-13 (updated 2026-06-03)" +categories: [cs.LG, cs.AI] +affiliations: ["Mila & Université de Montréal", "New York University", "Samsung SAIL", "Brown University"] +source: https://arxiv.org/abs/2603.19312 +code: linked in paper +--- + +# LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels + +> Lucas Maes*, Quentin Le Lidec*, Damien Scieur, Yann LeCun, Randall Balestriero (* equal contribution) + +## Abstract (原文) + +Joint Embedding Predictive Architectures (JEPAs) offer a compelling framework for learning world models in compact latent spaces, yet existing methods remain fragile, relying on complex multi-term losses, exponential moving averages, pre-trained encoders, or auxiliary supervision to avoid representation collapse. In this work, we introduce LeWorldModel (LeWM), the first JEPA that trains stably end-to-end from raw pixels using only two loss terms: a next-embedding prediction loss and a regularizer enforcing Gaussian-distributed latent embeddings. This reduces tunable loss hyperparameters from six to one compared to the only existing end-to-end alternative. With ~15M parameters trainable on a single GPU in a few hours, LeWM plans up to 48× faster than foundation-model-based world models while remaining competitive across diverse 2D and 3D control tasks. Beyond control, we show that LeWM's latent space encodes meaningful physical structure through probing of physical quantities. Surprise evaluation confirms that the model reliably detects physically implausible events. + +## 核心贡献 + +1. **首个无需训练启发式（stop-gradient/EMA/预训练编码器）的端到端 JEPA 世界模型** +2. 仅用 **2 个损失项 + 1 个可调超参** λ（对比 PLDM 的 6 个超参） +3. ~15M 参数，单 GPU 数小时训练 +4. 规划速度比 DINO-WM 快 **48×**（token 数减少 ~200×） +5. Push-T 成功率 **96%**（PLDM 提升 18%） +6. 潜在空间编码有意义的物理结构，可通过 probing 提取物理量 +7. Surprise 评估确认能可靠检测物理不合理事件 + +## 架构 + +### 编码器 +- ViT-Tiny (~5M 参数): Patch 14×14, 12 层, 3 注意力头, 隐藏维 192 +- 关键设计: **BatchNorm** 投影头（非 LayerNorm），因为 LN 限制方差分布阻碍 SIGReg + +### 预测器 +- Transformer (~10M 参数): 6 层, 16 注意力头, 10% dropout +- 动作条件通过 **AdaLN**（自适应层归一化）注入，初始化为零实现渐进式影响 +- 时间因果掩码自回归预测下一帧表示 + +### 训练目标 +$$\mathcal{L} = \|\hat{Z}_{t+1} - Z_{t+1}\|^2 + \lambda \cdot SIGReg(Z)$$ + +- 无 stop-gradient（区别于 I-JEPA/V-JEPA） +- 无 EMA（区别于 BYOL/DINO） +- 无预训练编码器（区别于 DINO-WM） +- SIGReg 通过 Cramér-Wold 定理强制嵌入匹配各向同性高斯分布 N(0,I) + +## 关键消融 + +| 消融 | Push-T 成功率 | +|------|-------------| +| LeWM (完整) | **96.0%** | +| 无 SIGReg 正则化 | 坍缩 (~30%) | +| 无 AdaLN (简单拼接动作) | 下降 | +| BatchNorm → LayerNorm | 下降（SIGReg 优化困难） | + +## 与现有方法的对比定位 + +| 方法 | 端到端 | 任务无关 | 像素输入 | 无重建 | 无奖励 | 防坍塌保证 | +|------|--------|---------|---------|--------|--------|----------| +| PLDM | ✅ | ✅ | ✅ | ✅ | ✅ | ❌ (6超参) | +| DINO-WM | ❌ | ✅ | ✅ | ✅ | ✅ | ❌ (冻结编码器) | +| Dreamer | ✅ | ❌ | ✅ | ❌ | ❌ | N/A | +| TD-MPC | ✅ | ❌ | ❌ | ✅ | ❌ | N/A | +| **LeWM** | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ (1超参) | + +## 局限 + +1. 当前 latent world model 规划仍局限于**短视界**，自回归误差随规划长度累积 +2. 依赖足够交互覆盖度的离线数据集 +3. 简单场景中 SIGReg 强制高维高斯先验可能导致表征学习困难 +4. 需显式动作标签（可通过逆动力学建模缓解） +5. 实验限于 Push-T、Reacher、TwoRoom、OGBench-Cube 等**低维受控任务** +6. OGBench-Cube 上略逊 SOTA（DINO-WM 受益于 DINOv2 预训练） + +## 意义定位 + +**JEPA 路线的重要里程碑，而非世界模型问题的最终答案。** 验证了端到端 JEPA 世界模型的工程可行性，是 LeCun 在访谈中唯一推荐的具体世界模型论文。 + +## 相关概念 + +- [[leworldmodel]] +- [[jepa]] +- [[sigreg]] +- [[pldm]] +- [[world-model-lecun]] +- [[representation-collapse]] diff --git a/raw/papers/naveen-repmt-sac-2026.md b/raw/papers/naveen-repmt-sac-2026.md new file mode 100644 index 0000000..7c01806 --- /dev/null +++ b/raw/papers/naveen-repmt-sac-2026.md @@ -0,0 +1,28 @@ +--- +title: "Learning to Adapt: Representation-Based Reinforcement Learning for Multi-Task Skill Transfer" +source_url: https://arxiv.org/abs/2606.12890 +ingested: 2026-06-17 +sha256: +--- + +# Learning to Adapt: Representation-Based Reinforcement Learning for Multi-Task Skill Transfer + +**Authors:** Aryan Naveen (MIT), Haitong Ma, Haldun Balim, Na Li — Harvard SEAS + +**arXiv:** 2606.12890v1 [cs.RO] (2026-06-11) + +**8 pages, 4 figures, 1 table. NSF AI Institute + ONR.** + +## Abstract + +Proposes RepMT-SAC, a framework for multi-task RL that enables efficient knowledge sharing and robust transfer to new tasks. Uses spectral MDP decomposition to capture transferable dynamics, structuring the value function into a task-agnostic core with a minimal task-specific adjustment. Allows for strong zero-shot performance on in-distribution tasks and rapid few-shot adaptation to out-of-distribution tasks. Evaluated on quadcopter trajectory-following tasks across in-distribution and out-of-distribution contexts, outperforming baselines by up to 30%. + +## Key Concepts + +- [[rep-mt-sac|RepMT-SAC]] +- [[spectral-mdp-decomposition|谱 MDP 分解]] +- [[task-invariant-representation|任务不变表征]] +- [[task-conditioned-policy|任务条件策略]] +- [[upstream-downstream-learning|上游-下游学习]] +- [[quadrotor-trajectory-following|四旋翼轨迹跟踪]] +- [[soft-actor-critic|SAC]] diff --git a/raw/papers/niu-stem-causal-sparse-attention-2026.md b/raw/papers/niu-stem-causal-sparse-attention-2026.md new file mode 100644 index 0000000..aea2a2d --- /dev/null +++ b/raw/papers/niu-stem-causal-sparse-attention-2026.md @@ -0,0 +1,25 @@ +# Stem: Rethinking Causal Information Flow in Sparse Attention + +**Authors:** Lin Niu\*, Xin Luo\*, Linchuan Xie, Yifu Sun, Guanghua Yu, Jianchen Zhu, S Kevin Zhou +**Affiliations:** Tencent, University of Science and Technology of China (USTC) +**arXiv:** [2603.06274](https://arxiv.org/abs/2603.06274) (v1, March 2026) +**Venue:** cs.LG / cs.AI +**Implementation:** Triton-based Block Sparse Attention kernel (open-source) + +--- + +## Abstract + +The quadratic computational complexity of self-attention remains a fundamental bottleneck for scaling LLMs to long contexts, particularly during the **pre-filling phase**. In this paper, we rethink the causal attention mechanism from the perspective of **information flow**. Due to causal constraints, tokens at initial positions participate in the aggregation of every subsequent token. However, existing sparse methods typically apply a **uniform top-k selection** across all token positions within a layer, ignoring the cumulative dependency of token information inherent in causal architectures. To address this, we propose **Stem**, a novel, plug-and-play sparsity module aligned with information flow: + +1. **Token Position-Decay (TPD)**: position-dependent top-k within each layer — larger budget for initial tokens, aggressive sparsification for later tokens +2. **Output-Aware Metric (OAM)**: prioritizes high-impact tokens based on approximate output magnitude (incorporating Value information), not just attention scores + +Stem is **training-free** and can also be integrated into training-based sparse models (DeepSeek-V3.2, MiniCPM-4.1) to further compress the sparse budget. Evaluated on RULER and LongBench with Llama3.1-8B and Qwen3-8B, Stem achieves superior accuracy with reduced pre-filling latency. + +## Key Concepts + +- [[stem-sparse-attention]] — the Stem framework +- [[causal-information-flow]] — the theoretical perspective +- [[token-position-decay]] — position-dependent sparse budget allocation +- [[output-aware-metric]] — value-aware token selection diff --git a/raw/papers/obando-ceron-predictive-representations-mtrl-2026.md b/raw/papers/obando-ceron-predictive-representations-mtrl-2026.md new file mode 100644 index 0000000..61cc763 --- /dev/null +++ b/raw/papers/obando-ceron-predictive-representations-mtrl-2026.md @@ -0,0 +1,30 @@ +--- +title: "Representation Learning Enables Scalable Multitask Deep RL" +source: "arXiv:2606.05555v1" +authors: "Johan Obando-Ceron, Lu Li, Scott Fujimoto, Pierre-Luc Bacon, Aaron Courville, Pablo Samuel Castro" +affiliation: "Mila, Universite de Montreal, McGill, Google DeepMind" +year: 2026 +category: "cs.LG, cs.AI" +published: "2026-06-04" +--- + +# Representation Learning Enables Scalable Multitask Deep RL + +**Authors**: Johan Obando-Ceron, Lu Li, Scott Fujimoto, Pierre-Luc Bacon, Aaron Courville, Pablo Samuel Castro +**arXiv**: 2606.05555v1 [cs.LG, cs.AI] +**Affiliations**: Mila / UdeM / McGill / CIFAR / Google DeepMind +**Published**: 2026-06-04 + +## Abstract + +Scaling RL to diverse multitask settings is a central challenge. We argue the primary driver is not model-based control but **representation learning**. Combining predictive model-based representations with high-capacity value function approximation is sufficient — even without planning. MR.Q, a model-free algorithm with auxiliary predictive objectives, outperforms world-model-based methods (Newt) while reducing computational overhead and improving wall-clock efficiency. + +## Key Concepts +- [[predictive-representation-learning|Predictive Representation Learning]] — core thesis +- [[mrq-algorithm|MR.Q]] — the model-free agent with predictive objectives +- [[multitask-rl|Multitask RL]] — training across diverse task distributions +- [[representation-learning-rl|Representation Learning in RL]] — beyond reward-only supervision +- [[auxiliary-predictive-objectives|Auxiliary Predictive Objectives]] — dynamics/reward/termination prediction +- [[world-models-rl|World Models in RL]] — model-based comparison point +- [[model-free-rl|Model-Free RL]] — the advocated approach +- [[deep-rl-scaling|Scaling Deep RL]] — the broader goal diff --git a/raw/papers/onereason-team-onereason-2026.md b/raw/papers/onereason-team-onereason-2026.md new file mode 100644 index 0000000..653e5db --- /dev/null +++ b/raw/papers/onereason-team-onereason-2026.md @@ -0,0 +1,31 @@ +--- +source_url: https://arxiv.org/abs/2606.06260 +ingested: 2026-06-10 +sha256: +--- + +# OneReason Technical Report + +- **Authors**: OneRec Team (Kuaishou) — Biao Yang, Boyang Ding, Chenglong Chu, Dunju Zang, Fei Pan, Han Li, Hao Jiang, Honghui Bao, Huanjie Wang, Jian Liang, Jiangxia Cao, Jiao Ou, Jiaxin Deng, Jinghao Zhang, Kun Gai, Lu Ren, Peiru Du, Pengfei Zheng, Rongzhou Zhang, Ruiming Tang, Shiyao Wang, Siyang Mao, Siyuan Lou, Teng Shi, Wei Yuan, Wenlong Xu, Xingchen Liu, Xingmei Wang, Xinqi Jin, Yan Sun, Yan Wang, Yifei Hu, Yingzhi He, Yufei Ye, Yuhao Wang, Yunhao Zhou, Yuqin Dai, Zhao Liu, Zhipeng Wei, Zhixin Ling, Ziming Li, Zixing Zhang, Ziyuan Liu, An Zhang, Changxin Lao, Chaoyi Ma, Chengru Song, Defu Lian, Fan Yang, Guowang Zhang, Hao Peng, Jiayao Shen, Jie Chen, Jun Xu, Junmin Chen, Kun Zhang, Kuo Cai, Mingxing Wen, Minmao Wang, Minxuan Lv, Qi Zhang, Qiang Luo, Sheng Yu, Shijie Li, Shijie Yi, Shuang Yang, Shugui Liu, Shuni Chen, Tinghai Zhang, Tingting Gao, Xiang Wang, Xiangyu Wu, Xiangyu Zhao, Xiao Lv, Xiaoyou Zhou, Xuming Wang, Yong Du, Zejian Zhang, Zhaojie Liu, Zhiyang Zhang, Zhuang Zhuang, Ziqi Wang, Ziyi Zhao +- **arXiv ID**: 2606.06260 +- **Categories**: cs.IR, cs.AI, cs.CL +- **Published**: 2026-06-04 +- **Affiliation**: Kuaishou +- **Status**: Work in progress + +## Abstract + +Generative recommendation models in the OneRec family have been widely deployed in many real-world services, such as short-video, live-streaming, advertising, and e-commerce. However, these generative models can only benefit from the scaling advantage, while their reasoning ability is hard to activate, since we cannot construct meaningful Chain-of-Thought (CoT) sequences consisting of itemic tokens only. Inspired by the success of the reasoning-style "think before answer" paradigm in the LLM field, we conduct preliminary studies (i.e., OneRec-Think, OpenOneRec) to explore reasoning capability in generative recommendation. Nevertheless, we notice an unexpected phenomenon: the thinking mode does not show advantages over the non-thinking mode. Drawing insights from recent findings on CoT robustness in multi-modal language models, we argue that effective reasoning in recommendation rests on two factors: perception, the ability to ground itemic tokens in their underlying language semantics, and cognition, the ability to reorganize a user's behavior sequence into coherent latent interest points. We therefore propose OneReason, which includes: (1) strong itemic token perception in pre-training, (2) a three-level cognition-enhanced CoT format for recommendation tasks in SFT, and (3) a specialize-then-unify training recipe in RL to enhance the thinking ability. + +## Key Contributions + +1. **Perception-Cognition framework**: Two-pillar approach — perception (grounding itemic tokens in semantics) + cognition (structured CoT for reasoning) +2. **R0-R3 Reasoning Hierarchy**: Perception → Derivation → Evolution → Recommendation +3. **Specialize-then-Unify RL**: Domain-focused RL then cross-domain balancing via rejection sampling or multi-teacher distillation +4. **Thinking Supervision Transfer**: CoT training data improves non-thinking mode performance +5. **OneReason-Bench**: Comprehensive reasoning benchmark for recommendation +6. **Open-source**: OneReason-8B and OneReason-0.8B models + +## Architecture + +Pre-training → SFT (R0-R3 CoT format) → RL (specialize-then-unify) → Deployment diff --git a/raw/papers/ortega-phd-thesis-2026.md b/raw/papers/ortega-phd-thesis-2026.md new file mode 100644 index 0000000..6c50596 --- /dev/null +++ b/raw/papers/ortega-phd-thesis-2026.md @@ -0,0 +1,30 @@ +--- +title: "Uncertainty Estimation and Generalization Bounds for Modern Deep Learning (PhD Thesis)" +source_url: https://arxiv.org/abs/2606.13818 +ingested: 2026-06-17 +sha256: +--- + +# Uncertainty Estimation and Generalization Bounds for Modern Deep Learning + +**Author:** Luis A. Ortega Andrés — Department of Computer Science, Autonomous University of Madrid + +**Supervisor:** Daniel Hernández Lobato + +**arXiv:** 2606.13818v1 [cs.LG] (2026-06-11) — PhD Thesis + +## Abstract + +Investigates how Bayesian principles can deepen understanding of modern deep learning systems. On the methodological side, introduces DVIP (Deep Variational Implicit Process), VaLLA (Variational Linearized Laplace Approximation), and FMGP (Fixed-Mean Gaussian Process). On the theoretical side, develops a unified PAC-Bayesian/large-deviation framework connecting diversity, smoothness, and stochasticity as mechanisms for generalization. Provides quantitative distribution-dependent explanation for double-descent. + +## Key Concepts + +- [[deep-variational-implicit-process|DVIP]] +- [[variational-linearized-laplace-approximation|VaLLA]] +- [[fixed-mean-gaussian-process|FMGP]] +- [[pac-bayesian-bounds|PAC-Bayesian 界]] +- [[implicit-processes|隐式过程]] +- [[function-space-modeling|函数空间建模]] +- [[generalization-bounds|泛化界]] +- [[double-descent|双下降]] +- [[deep-gaussian-process|深度高斯过程]] diff --git a/raw/papers/procedural-skills-to-strategy-genes-2026.md b/raw/papers/procedural-skills-to-strategy-genes-2026.md new file mode 100644 index 0000000..b2c9059 --- /dev/null +++ b/raw/papers/procedural-skills-to-strategy-genes-2026.md @@ -0,0 +1,22 @@ +--- +source_url: https://arxiv.org/abs/2604.15097 +ingested: 2026-06-14 +sha256: skip +--- + +# From Procedural Skills to Strategy Genes: Towards Experience-Driven Test-Time Evolution + +**Authors:** Junjie Wang, Yiming Ren, Haoyang Zhang (Tsinghua University, EvoMap) +**arXiv:** 2604.15097v2 [cs.SE, cs.CL] +**Published:** April 2026 (v2: June 2026) +**Type:** Technical Report + +## Abstract + +This beta technical report asks how reusable experience should be represented so that it can function as effective test-time control and as a substrate for iterative evolution. We study this question in 4,590 controlled trials across 45 scientific code-solving scenarios. We find that documentation-oriented Skill packages provide unstable control: their useful signal is sparse, and expanding a compact experience object into a fuller documentation package often fails to help and can degrade the overall average. We further show that representation itself is a first-order factor. A compact Gene representation yields the strongest overall average, remains competitive under substantial structural perturbations, and outperforms matched-budget Skill fragments, while reattaching documentation-oriented material usually weakens rather than improves it. Beyond one-shot control, we show that Gene is also a better carrier for iterative experience accumulation: attached failure history is more effective in Gene than in Skill or freeform text, editable structure matters beyond content alone, and failure information is most useful when distilled into compact warnings rather than naively appended. On CritPt, gene-evolved systems improve over their paired base models from 9.1% to 18.57% and from 17.7% to 27.14%. + +## Repositories + +- https://github.com/EvoMap/skill2gep (Skill-to-Gene transformation) +- https://github.com/EvoMap/evolver (Gene evolution engine) +- https://github.com/openclaw/openclaw (Host runtime) diff --git a/raw/papers/schmocker-weighted-uat-2026.md b/raw/papers/schmocker-weighted-uat-2026.md new file mode 100644 index 0000000..be2796f --- /dev/null +++ b/raw/papers/schmocker-weighted-uat-2026.md @@ -0,0 +1,29 @@ +--- +title: "Weighted Universal Approximation of Differentiable Maps on Infinite-Dimensional Manifolds" +source_url: https://arxiv.org/abs/2606.09820 +ingested: 2026-06-17 +sha256: +--- + +# Weighted Universal Approximation of Differentiable Maps on Infinite-Dimensional Manifolds + +**Authors:** Philipp Schmocker, Josef Teichmann + +**arXiv:** 2606.09820v1 [math.FA] (2026-06-08) + +**Keywords:** Machine learning, neural operator, Universal approximation, weighted approximation, infinite-dimensional manifold, locally convex topological vector space, bounded approximation property, Stone-Weierstrass theorem, Nachbin theorem, Tauberian theorem, non-anticipative functional, rough path, signature. + +## Abstract + +Generalizes the universal approximation theorem for functional input neural networks (FNN) to differentiable maps by including the approximation of the derivatives. A FNN maps the input from a possibly infinite-dimensional weighted manifold to the real-valued hidden layer, on which a non-linear scalar activation function is applied, and then returns the output into a Banach space via some linear readouts. By proving a weighted Nachbin theorem, establishes a universal approximation theorem (UAT) for differentiable maps, which goes beyond the usual formulation on compact sets and also includes the approximation of the derivatives. Leads to approximation results for non-anticipative functionals including the horizontal and vertical derivatives. Also shows that linear functions of the signature are able to approximate path space functionals including their directional derivatives. + +## Key Concepts + +- [[functional-input-neural-networks|函数输入神经网络 (FNN)]] +- [[universal-approximation-theorem|通用逼近定理 (UAT)]] +- [[nachbin-theorem|Nachbin 定理]] / [[weighted-spaces|加权空间]] +- [[infinite-dimensional-manifolds|无限维流形]] +- [[bastiani-calculus|Bastiani 微积分]] +- [[non-anticipative-functionals|非预期泛函]] +- [[signature|签名 (Signature)]] +- [[rough-path-theory|粗糙路径理论]] diff --git a/raw/papers/shirodkar-dead-directions-2026.md b/raw/papers/shirodkar-dead-directions-2026.md new file mode 100644 index 0000000..0ea4f20 --- /dev/null +++ b/raw/papers/shirodkar-dead-directions-2026.md @@ -0,0 +1,30 @@ +--- +title: "Dead Directions: Geometric Singular Learning" +source: "arXiv:2606.05957v1" +authors: "Tejas Pradeep Shirodkar" +affiliation: "IIIT Hyderabad" +year: 2026 +category: "cs.LG, stat.ML" +published: "2026-06-04" +pages: 139 +--- + +# Dead Directions: Geometric Singular Learning + +**Author**: Tejas Pradeep Shirodkar (IIIT Hyderabad) +**arXiv**: 2606.05957v1 [cs.LG, stat.ML] +**Published**: 2026-06-04 | 139 pages + +## Abstract + +Bridges singular learning theory and information geometry through one primitive: the **dead direction** — a unit vector where the Fisher metric degenerates, with KL order recoverable from directional Fisher curvature decay rate in original coordinates (no Hironaka resolution). Lifts to deep networks via K-FAC factorization, constructs DDCAdam optimizer, and enables readout of Watanabe's triple (lambda, m, nu) from a single checkpoint. + +## Key Concepts +- [[dead-direction|Dead Direction]] — core primitive bridging SLT and info geometry +- [[singular-learning-theory|Singular Learning Theory]] — Watanabe's framework +- [[information-geometry|Information Geometry]] — Amari's framework +- [[fisher-information-metric|Fisher Information Metric]] — the geometry object +- [[real-log-canonical-threshold|RLCT (lambda)]] — Watanabe's Bayesian invariant +- [[kl-order|KL Order]] — the bridge invariant +- [[watanabe-triple|Watanabe's Triple]] — (lambda, m, nu) +- [[ddcadam|DDCAdam]] — G-equivariant Adam-family preconditioner diff --git a/raw/papers/tiwari-ticks-to-flows-2026.md b/raw/papers/tiwari-ticks-to-flows-2026.md new file mode 100644 index 0000000..49f6137 --- /dev/null +++ b/raw/papers/tiwari-ticks-to-flows-2026.md @@ -0,0 +1,35 @@ +--- +title: "From Ticks to Flows: Dynamics of Neural Reinforcement Learning in Continuous Environments" +source_url: https://arxiv.org/abs/2606.04275 +ingested: 2026-06-17 +sha256: +--- + +# From Ticks to Flows: Dynamics of Neural Reinforcement Learning in Continuous Environments + +**Authors:** Saket Tiwari, Tejas Kotwal, George Konidaris — Brown University, Dept. of Computer Science & Applied Mathematics + +**Published:** ICLR 2026 + +**arXiv:** 2606.04275v1 [cs.LG] (2026-06-02) + +## Abstract + +A novel theoretical framework for deep RL in continuous environments, modeling the problem as a continuous-time stochastic process drawing on stochastic control. Introduces a viable model of actor-critic that incorporates both exploration and stochastic transitions. For single-hidden-layer neural networks, the state of the environment can be formulated as a two time-scale process (environment time + gradient time). Using stochastic differential equations, derives — for the first time in continuous RL — an equation describing the infinitesimal change in state distribution at each gradient step under vanishingly small learning rate. Empirically corroborated on a toy LQR continuous control task. + +## Key Concepts + +- [[continuous-time-rl|连续时间强化学习]] / [[stochastic-differential-equation|随机微分方程]] +- [[wiener-process|维纳过程]] / [[ito-calculus|Itô 微积分]] +- [[two-time-scale-process|双时间尺度过程]] (environment time + gradient time) +- [[exploratory-dynamics|探索动力学]] — SDE with policy + environment noise +- [[linearized-neural-network|线性化神经网络]] / [[neural-tangent-kernel|NTK]] / [[infinite-width-limit|无限宽度极限]] +- [[martingale-clt|鞅中心极限定理]] / [[control-affine-mdp|控制仿射 MDP]] +- [[linear-quadratic-regulator|LQR]] + +## Key Results + +- Closed system of only 5 time-dependent variables describing one-step gradient change +- First equation for gradient-time evolution of state distribution under vanishing step size for NNs +- Nonparametric formulation bridging stochastic control and over-parameterized RL +- Exploratory dynamics outperforms additive Wiener noise in state-action coverage diff --git a/raw/papers/xu-life-harness-runtime-adaptation-2026.md b/raw/papers/xu-life-harness-runtime-adaptation-2026.md new file mode 100644 index 0000000..5f47b06 --- /dev/null +++ b/raw/papers/xu-life-harness-runtime-adaptation-2026.md @@ -0,0 +1,22 @@ +--- +source_url: https://arxiv.org/abs/2605.22166 +ingested: 2026-06-11 +sha256: placeholder +--- + +# Adapting the Interface, Not the Model: Runtime Harness Adaptation for Deterministic LLM Agents + +**Authors:** Tianshi Xu†, Huifeng Wen†, Meng Li (Peking University) — †Equal contribution +**arXiv:** 2605.22166v2 [cs.AI] — May 2026 +**Code:** https://github.com/Tianshi-Xu/Life-Harness + +## Abstract + +LLM agents are shaped not only by their language models, but also by the runtime harness that mediates observation, tool use, action execution, feedback interpretation, and trajectory control. While existing agent adaptation methods mainly update model parameters, many failures in deterministic, rule-governed domains stem from mismatches at the model–environment interface. We propose Life-Harness, a lifecycle-aware runtime harness that improves frozen LLM agents without changing model weights or evaluation environments. Life-Harness evolves from training trajectories by converting recurring interaction failures into reusable interventions across environment contracts, procedural skills, action realization, and trajectory regulation, and remains fixed for evaluation on unseen tasks. On seven deterministic environments from τ-bench, τ²-bench, and AgentBench, Life-Harness improves 116 out of 126 model–environment settings across 18 model backbones, with an average relative improvement of 88.5%. Harnesses evolved only from Qwen3-4B-Instruct trajectories transfer to 17 other models, showing that Life-Harness captures reusable environment-side structure rather than model-specific behavior. + +## Key Contributions + +1. Formulation of harness-based runtime interface adaptation for deterministic LLM agents +2. Life-Harness: a lifecycle-aware framework with four intervention layers +3. Cross-model transfer: harnesses evolved on one model (Qwen3-4B) generalize to 17 others +4. Complementary to model training: enables Qwen2.5-32B to outperform its tool-use-trained derivative diff --git a/raw/papers/xu-why-steering-works-2026.md b/raw/papers/xu-why-steering-works-2026.md new file mode 100644 index 0000000..8c884f5 --- /dev/null +++ b/raw/papers/xu-why-steering-works-2026.md @@ -0,0 +1,33 @@ +--- +source_url: https://arxiv.org/abs/2602.02343 +ingested: 2026-06-01 +sha256: raw-from-pdf +--- + +# Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics + +**Authors:** Ziwen Xu¹², Chenyan Wu¹, Hengyu Sun¹, Haiwen Hong²*, Mengru Wang¹, Yunzhi Yao¹, Longtao Huang², Hui Xue², Shumin Deng¹, Zhixuan Chu¹, Huajun Chen¹, Ningyu Zhang¹* + +**Affiliations:** ¹Zhejiang University, ²Alibaba Group + +**arXiv:** 2602.02343 (v3, 12 Apr 2026) + +**Code:** https://github.com/zjunlp/EasyEdit/blob/main/examples/SPLIT.md + +## Abstract + +Methods for controlling large language models (LLMs), including local weight fine-tuning, LoRA-based adaptation, and activation-based interventions, are often studied in isolation, obscuring their connections and making comparison difficult. In this work, we present a unified view that frames these interventions as dynamic weight updates induced by a control signal, placing them within a single conceptual framework. Building on this view, we propose a unified preference-utility analysis. This analysis separates control effects into two components: preference, defined as the tendency toward a target concept, and utility, defined as coherent and task-valid generation. Both components are measured on a shared log-odds scale using polarity-paired contrastive examples. Across methods, we observe a consistent trade-off between preference and utility: stronger control increases preference while predictably reducing utility. We further explain this behavior through an activation manifold perspective, in which control shifts representations along target-concept directions to enhance preference, while utility declines primarily when interventions push representations off the model's valid-generation manifold. Finally, we introduce a new steering approach SPLIT guided by this analysis that improves preference while better preserving utility. + +## Key Contributions + +1. **Unified View** — casts local weight fine-tuning, LoRA, and activation steering as dynamic weight updates: `h_{i+1} = (W + m₁ΔW)h_i + (b + m₂Δb)` +2. **Preference–Utility Analysis** — decomposes control into preference (target concept alignment) and utility (task validity) on a shared log-odds scale +3. **Activation Manifold Hypothesis** — explains the preference–utility trade-off: steering pushes representations off the training-induced activation manifold, causing utility degradation +4. **Three-Stage Preference Dynamics** — Linear Region → Transitional Region → Convergence Region as steering factor m varies +5. **SPLIT Method** — Steering with Preference-UtiLity IntervenTion, a training objective that jointly optimizes preference and utility + +## Experimental Setup +- Models: Gemma-2-9B-IT, Qwen-2.5-7B-Instruct +- Tasks: Psychopathy, PowerSeeking, AxBench (top 10 concepts) +- Intervention forms: Local Weight, LoRA, Vector (DiffMean/SFT/RePS) +- Curve fitting R² > 0.95 across most settings diff --git a/raw/papers/yang-skillopt-2026.md b/raw/papers/yang-skillopt-2026.md index e682c4c..9efd568 100644 --- a/raw/papers/yang-skillopt-2026.md +++ b/raw/papers/yang-skillopt-2026.md @@ -14,7 +14,7 @@ tags: ["agent", "skill", "optimization", "text-space", "self-evolving"] **Authors:** Yifan Yang*, Ziyang Gong*, Weiquan Huang*, Qihao Yang*, Ziwei Zhou*, Zisu Huang*, Yan Li, Xuemei Gao, Qi Dai, Bei Liu, Kai Qiu, Yuqing Yang, Dongdong Chen, Xue Yang, Chong Luo (* equal contribution) **Affiliation:** Microsoft, SJTU, Tongji, Fudan **arXiv:** [2605.23904](https://arxiv.org/abs/2605.23904) (v2, 25 May 2026) -**Code:** https://aka.ms/SkillOpt +**Code:** https://github.com/microsoft/SkillOpt (MIT License, 3.7k stars) ## Abstract diff --git a/raw/papers/zhang-geometric-sae-2026.md b/raw/papers/zhang-geometric-sae-2026.md new file mode 100644 index 0000000..fea4821 --- /dev/null +++ b/raw/papers/zhang-geometric-sae-2026.md @@ -0,0 +1,30 @@ +--- +title: "A Geometric View for Understanding Concept Learning and Neuron Interpretation in Sparse Autoencoders" +source_url: https://arxiv.org/abs/2606.07007 +ingested: 2026-06-17 +sha256: +--- + +# A Geometric View for Understanding Concept Learning and Neuron Interpretation in Sparse Autoencoders + +**Authors:** Chenhao Zhang, Chris Lin, Su-In Lee — University of Washington, Paul G. Allen School of CSE + +**arXiv:** 2606.07007v1 [cs.LG] (2026-06-05) + +**Published:** Preprint, June 8, 2026 + +## Abstract + +A unified mathematical framework for geometric understanding of concept learning and neuron interpretation in sparse autoencoders (SAEs). Formalizes concepts as sets of data points and casts concept learning as a set-alignment problem between human-defined and model-induced concepts. Distinguishes three increasingly strong notions of learning — detection, separation, and approximation — and yields geometric conditions, error bounds, and capacity constraints. Provides a set-theoretic account for SAE phenomena including feature splitting, feature absorption, feature families, and hierarchical concepts. Connects concept learning and neuron interpretation through formal concept analysis, showing that the two directions need not agree and their many-to-many structure can be organized by concept lattices. + +## Key Concepts + +- [[sparse-autoencoder|稀疏自编码器]] / [[polysemanticity|多义性]] +- [[mechanistic-interpretability|机制可解释性]] +- [[concept-learning|概念学习（几何）]] / [[formal-concept-analysis|形式概念分析]] +- [[feature-splitting|特征分裂]] / [[feature-absorption|特征吸收]] / [[feature-family|特征家族]] +- [[absolute-gating|绝对门控 vs 相对门控]] +- [[hyperplane-arrangements|超平面排列]] +- [[concept-lattice|概念格]] +- [[superposition|叠加]] +- [[linear-representation-hypothesis|线性表征假设]] diff --git a/raw/papers/zhang-reconciling-sft-interaction-2026.md b/raw/papers/zhang-reconciling-sft-interaction-2026.md new file mode 100644 index 0000000..a9e0a20 --- /dev/null +++ b/raw/papers/zhang-reconciling-sft-interaction-2026.md @@ -0,0 +1,64 @@ +--- +title: "Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective" +created: 2026-06-03 +updated: 2026-06-03 +type: raw-paper +arxiv_id: "2605.17967" +authors: + - "Junpeng Zhang" + - "Lei Cheng" + - "Guoxi Zhang" + - "Hua Cai" + - "Qing Xu" + - "Quanshi Zhang" +affiliations: + - "Shanghai Jiao Tong University" + - "Beijing Institute for General Artificial Intelligence" + - "UniDT" +published: "2026-05-18" +venue: "arXiv preprint" +primary_category: "cs.AI" +source: "https://arxiv.org/abs/2605.17967" +code: null +tags: [SFT, interactions, LLM, fine-tuning, interpretability, overfitting, early-stopping] +--- + +# Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective + +**Authors**: Junpeng Zhang, Lei Cheng, Guoxi Zhang, Hua Cai, Qing Xu, Quanshi Zhang (Shanghai Jiao Tong University, BIGAI, UniDT) + +**arXiv**: 2605.17967 | **Published**: 2026-05-18 | **Category**: cs.AI + +## Abstract + +This paper explores a scientific question in supervised fine-tuning (SFT): why SFT is broadly effective for small-scale deep neural networks, yet can produce inconsistent or even detrimental effects when applied to large language models (LLMs). Recent advances in interaction-based explanations suggest that interactions between words/tokens provide a faithful metric for quantifying the inference patterns encoded by LLMs. The authors find that the evolution of interactions during SFT can effectively explain the inconsistent effectiveness of SFT for LLMs. Specifically: (1) SFT primarily removes noise-like interactions, while rarely acquiring reliable new interactions. (2) This denoising stage is extremely brief, after which continued fine-tuning tends to introduce overfitted interactions. These findings are validated across multiple LLMs and datasets. + +## Key Concepts + +- **Interaction-based explanation**: Decomposing LLM inference patterns into AND-OR interactions between input tokens +- **Three interaction types**: Removed (eliminated during SFT), Preserved (retained throughout), Newly emerged (acquired during SFT) +- **Two-stage SFT dynamics**: Brief denoising stage (~1000 steps) → prolonged overfitting stage +- **Interaction quality metrics**: Generalizability (γ) and uncancelled-effect ratio (ρ) +- **Preserved interactions as inference backbone**: A small set of low-order, generalizable interactions supports the majority of token prediction + +## Experimental Setup + +- **Models**: Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct, Llama-2-7B-Chat, Llama-3-8B-Instruct, Gemma-3-4B-it +- **Datasets**: GoEmotions, Unilaw-R1-Data, Databricks-Dolly-15k +- **Method**: LoRA fine-tuning, interaction extraction via AND-OR decomposition +- **GPUs**: 8× NVIDIA Tesla V100-PCIE-32GB + +## Five Core Findings + +1. LLMs learn only a few newly emerged interactions in the first (denoising) stage, but many in the second (overfitting) stage +2. Early-emerged interactions are more generalizable; later-emerged interactions behave like noise +3. Interaction removal occurs primarily within the very short first stage +4. Removed interactions are predominantly noise: high-order, non-generalizable, mutually canceling +5. Preserved interactions (small set, low-order) exhibit high generalizability and weak cancellation — they form the backbone of LLM inference + +## Practical Implications + +- SFT is effective but its useful regime is surprisingly short +- Interactions can serve as diagnostic signals for monitoring SFT progress +- Provides a principled criterion for early stopping in end-to-end SFT +- Challenges the belief that fine-tuning on massive datasets is necessarily beneficial diff --git a/raw/papers/zhang-tarpo-2026.md b/raw/papers/zhang-tarpo-2026.md new file mode 100644 index 0000000..18f31ea --- /dev/null +++ b/raw/papers/zhang-tarpo-2026.md @@ -0,0 +1,39 @@ +--- +title: "TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization" +source_url: https://arxiv.org/abs/2606.05859 +ingested: 2026-06-17 +sha256: +--- + +# TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization + +**Authors:** Liting Zhang, Shiwan Zhao, Xuyang Zhao, Zichen Xu, Jianye Wang, Qicheng Li (TMCC, College of Computer Science, Nankai University, Tianjin) + +**arXiv:** 2606.05859v1 [cs.CL] (2026-06-04) + +**Code:** https://github.com/NKU-LITI/TARPO-master + +## Abstract + +Latent reasoning has emerged as a promising alternative to discrete Chain-of-Thought (CoT) in large language models (LLMs), enabling more expressive reasoning by operating over continuous representations. However, the inherently deterministic nature of continuous representations limits policy exploration in reinforcement learning (RL). To address this, we propose TARPO (Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization), a pure RL framework that adaptively switches between discrete token generation and continuous latent reasoning at each step. TARPO introduces a lightweight action head router that observes the current hidden state and samples a routing decision from a binary mode-selection space, preserving the stochasticity of discrete token sampling from the vocabulary. The LLM backbone and router are jointly optimized end-to-end with a shared group-relative advantage signal. Extensive experiments across Qwen2.5 (from 1.5B to 7B) and Llama-3.1-8B backbones demonstrate that TARPO consistently outperforms existing explicit and latent reasoning RL baselines across diverse benchmarks. Further analysis shows that TARPO learns adaptive token-wise switching behaviors while maintaining stable training dynamics. + +## Key Concepts + +- [[latent-reasoning|潜在推理]] vs [[chain-of-thought|思维链]] +- [[continuous-representation|连续表征]] +- [[soft-token]] / [[hard-token]] +- [[action-routing-policy|动作路由策略]] +- [[action-head-router|动作头路由器]] +- [[token-wise-routing|逐token路由]] +- [[hybrid-reasoning|混合推理]] +- [[grpo|GRPO]] +- [[coconut|COCONUT]] +- [[hrpo|HRPO]] + +## Key Findings + +- TARPO achieves superior in-domain performance across Qwen2.5 (1.5B, 3B, 7B), improving GRPO by 0.52% Pass@1 and 1.22% Pass@32 on average +- Out-of-distribution generalization: 4.76% improvement on HumanEval over GRPO, with 18% fewer generated tokens +- Cross-architecture generalization verified on Llama-3.1-8B +- Adaptive switching behavior: router learns to select soft tokens for key mathematical operations while using hard tokens for structural text +- Action head bias initialization and KL penalty are critical hyperparameters for stable training diff --git a/raw/papers/zheng-claw-swe-bench-2026.md b/raw/papers/zheng-claw-swe-bench-2026.md new file mode 100644 index 0000000..aa0150c --- /dev/null +++ b/raw/papers/zheng-claw-swe-bench-2026.md @@ -0,0 +1,41 @@ +--- +source_url: https://arxiv.org/abs/2606.12344v1 +ingested: 2026-06-15 +arxiv_id: 2606.12344v1 +sha256: TBD +--- + +# Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks + +**Authors:** Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, Wei He, Hang Zhou, Jianyuan Guo, Hailin Hu, Lin Ma, Chao Xu, Guohao Dai, Lixue Xia, Yunchao Wei, Yunhe Wang, Yu Wang + +**Affiliations:** TokenRhythm Technologies, Infinigence AI, City University of Hong Kong, SEE Fund, Peking University, Shanghai Jiaotong University, Beijing Jiaotong University, Tsinghua University + +**arXiv:** 2606.12344v1 | **Date:** 2026-06-10 | **Categories:** cs.LG, cs.CL + +**Resources:** https://github.com/opensquilla/claw-swe-bench | https://huggingface.co/datasets/TokenRhythm/Claw-SWE-Bench + +## Abstract + +General-purpose agents such as OpenClaw are increasingly used as autonomous tool users, but their coding ability is difficult to measure under SWE-bench: a generic agent does not by itself satisfy the clean Docker workspace, patch, and prediction contract required for scoring. We introduce Claw-SWE-Bench, a multilingual SWE-bench-style benchmark and adapter protocol that makes heterogeneous agent harnesses, or claws, comparable under fair settings including a fixed prompt, runtime budget, workspace contract, patch extraction procedure, and evaluator. + +The full benchmark contains 350 GitHub issue-resolution instances across 8 languages and 43 repositories, drawn from SWE-bench-Multilingual and SWE-bench-Verified-Mini after future-commit cleanup. We also release Claw-SWE-Bench Lite for faster validation, which is an 80-instance subset selected by a cost-aware, rank-aware procedure over 17 calibration columns. + +Key findings: +- OpenClaw with minimal direct-diff adapter: 19.1% Pass@1 +- OpenClaw with full adapter: 73.4% Pass@1 (same GLM 5.1 backbone) +- Model choice changes Pass@1 by 29.4 pp; harness choice by 27.4 pp +- Systems with similar accuracy can differ substantially in total API cost +- Claw-SWE-Bench treats harness and cost accounting as first-class evaluation axes + +## Key Concepts + +- Agent harness (claw) as controlled experimental variable +- Adapter protocol: lifecycle methods (create_agent, send_task, backup_session, delete_agent, get_docker_args) +- Full adapter vs bare adapter design +- Cost-aware benchmarking: Pass@1 + total API cost + wall-clock duration + cache hit rate +- Pareto frontier of accuracy vs cost +- Claw-SWE-Bench Lite: 80-instance cost-aware rank-aware subset +- Future-commit cleanup for fair evaluation +- Patch-based evaluation contract (git diff from /testbed) +- Harness × model interaction effects diff --git a/reviews/advances-temporal-point-processes-review-20260616.md b/reviews/advances-temporal-point-processes-review-20260616.md new file mode 100644 index 0000000..82c99b1 --- /dev/null +++ b/reviews/advances-temporal-point-processes-review-20260616.md @@ -0,0 +1,63 @@ +--- +title: "Review: Advances in Temporal Point Processes" +created: 2026-06-16 +updated: 2026-06-16 +type: review +tags: [temporal-point-process, survey, review] +sources: [raw/papers/advances-temporal-point-processes-2026.md] +--- + +# Review: Advances in Temporal Point Processes + +**论文**：Advances in Temporal Point Processes: Bayesian, Neural, and LLM Approaches +**作者**：Feng Zhou, Quyu Kong, Jie Qiao, Cheng Wan, Yixuan Zhang, Ruichu Cai +**发表**：TMLR, 2026年6月 +**添加时间**：2026-06-16 + +--- + +## 🎯 核心概念 + +1. **[[temporal-point-process|时间点过程]]** — 建模连续时间事件序列的随机过程，两种等价参数化：条件密度函数 vs 条件强度函数 +2. **[[conditional-intensity-function|条件强度函数]]** — TPP 的核心数学工具，描述给定历史下事件发生的瞬时速率 +3. **[[hawkes-process|Hawkes 过程]]** — 自激励过程，"过去事件增加未来事件概率" +4. **[[neural-temporal-point-process|神经 TPP]]** — RNN → Transformer → Diffusion 三代架构演进，四种参数化选择 +5. **[[bayesian-nonparametric-tpp|贝叶斯非参数 TPP]]** — GP 先验替代固定参数形式，兼具灵活性与不确定性量化 +6. **[[llm-based-temporal-point-process|LLM TPP]]** — LLM-inspired (PromptTPP/LAMP) vs Direct Integration (TPP-LLM/Language-TPP) +7. **[[marked-temporal-point-process|标记 TPP]]** — 多类型事件，Granger 因果发现的数学基础 +8. **[[granger-causality-tpp|Granger 因果发现]]** — 从事件序列推断事件类型间的因果结构 +9. **[[intensity-free-modeling|Intensity-free 建模]]** — 绕过强度积分的参数化策略（密度/累积强度/逆 CDF） +10. **[[diffusion-based-tpp|扩散 TPP]]** — 非自回归生成，批量化长程预测 +11. **[[tpp-training-methods|TPP 训练方法]]** — MLE vs Wasserstein vs NCE vs Score Matching 的统计-计算权衡 +12. **[[tpp-applications|TPP 应用]]** — 社交网络、金融、神经科学、流行病学的事件预测与因果发现 + +--- + +## 🔗 概念网络 + +- **核心连接**：`temporal-point-process ↔ conditional-intensity-function ↔ hawkes-process`（核心理论三角） +- **三条发展路线**： + - Bayesian: `temporal-point-process → bayesian-nonparametric-tpp → hawkes-process` + - Neural: `hawkes-process → neural-temporal-point-process → intensity-free-modeling, diffusion-based-tpp` + - LLM: `neural-temporal-point-process → llm-based-temporal-point-process` +- **应用链**：`marked-temporal-point-process → granger-causality-tpp → tpp-applications` +- **新增概念**：13 个（全部为该论文引入的新领域概念） +- **交叉引用密度**：平均 ~3 个 outbound link per page + +--- + +## 📚 Wiki 集成 + +- 新增页面：15 个（1 论文 + 13 概念 + 1 Review） +- 新增 raw 存档：1 个 +- 链接完整性：100% 无断链 +- 总规模：811 → 826 页 +- 全新领域：TPP（时间点过程）——此前 wiki 未覆盖 + +--- + +## 💡 关键洞察 + +1. **三重范式统一框架**：本文首次将 Bayesian、Neural、LLM 三代 TPP 方法放在同一框架下系统比较——Bayesian 强调不确定性与严谨推理，Neural 强调表达力与可扩展性，LLM 则开启了多模态语义理解的新维度 + +2. **LLM-based TPP 标志范式转变**：TPP 研究正从"事件发生过程建模"（概率建模）转向"带时间戳事件数据理解"（语义理解）——这不仅仅是新模型家族，而是研究议程的扩展 diff --git a/reviews/auditing-agent-harness-safety-review-20260605.md b/reviews/auditing-agent-harness-safety-review-20260605.md new file mode 100644 index 0000000..43531ef --- /dev/null +++ b/reviews/auditing-agent-harness-safety-review-20260605.md @@ -0,0 +1,41 @@ +--- +title: "Auditing Agent Harness Safety — Review" +created: 2026-06-05 +type: review +sources: [[liu-auditing-agent-harness-safety]] +--- + +# 📌 基本信息 + +- **论文**: Auditing Agent Harness Safety +- **作者**: Chengzhi Liu\*, Yichen Guo\* et al. (UC Santa Barbara, UC Berkeley, Stanford, UW-Madison, Microsoft Research) +- **arXiv**: [2605.14271](https://arxiv.org/abs/2605.14271) (v2, May 2026) +- **添加时间**: 2026-06-05 + +# 🎯 核心概念 + +1. **[[agent-harness-safety|Agent 骨架安全]]** — 将安全评测对象从"回答"转向"骨架执行轨迹"，解决输出级评测的根本盲区 +2. **[[boundary-compliance|边界合规 (L1)]]** — 工具/资源/信息流三层边界约束，揭示资源粒度的精确控制是当前最薄弱环节 +3. **[[execution-fidelity|执行忠实度 (L2)]]** — 只检查最终输出不够；中间步骤的有效性和检查点完成必须可验证 +4. **[[system-stability|系统稳定性 (L3)]]** — 在间接注入/模糊目标/工具错误下 L1+L2 是否保持？揭示高能力≠高稳定性 +5. **[[hidden-audit-channel|隐藏审计通道]]** — 证据必须来自 Agent 不可见、不可操纵的独立通道 +6. **[[safety-adherence-rate|安全遵守率 (SAR)]]** — 乘法性安全门控：完成但越权 = 低分，能力与安全强制联合评估 + +# 🔗 概念网络 + +- **核心连接**: [[agent-harness-safety]] ↔ [[harnessaudit]] ↔ [[trajectory-auditing]] ↔ [[hidden-audit-channel]] +- **三层框架**: [[boundary-compliance]] ↔ [[execution-fidelity]] ↔ [[system-stability]] +- **多 Agent 安全**: [[multi-agent-safety]] ↔ [[information-flow-control]] ↔ [[resource-access-control]] +- **已有网络连接**: 与 [[agent-harness-engineering]]、[[agent-safety-evaluation]]、[[harness-as-policy]]、[[harness-as-action-verifier]]、[[policy-constrained-execution]]、[[execution-harness]] 等已有概念形成密集交叉引用 + +# 📚 Wiki 集成 + +- **新增页面**: 15 个（1 raw + 1 论文 + 13 概念） +- **链接密度**: 核心概念平均 5+ 个链接，与既有概念网络紧密衔接 +- **总规模**: 604 → 618 页 (+14) + +# 💡 关键洞察 + +**能力与安全的负相关是最反直觉的发现**：Gemini 3.1 Pro 任务完成率不是最高，但凭借最强的安全合规拿下了最高总分；Claude Opus 4.6 完成率更高但安全更弱。这意味着更强的模型能力会自动导致"为了完成任务而穿越边界"的行为——安全不是能力的副产品，而是需要独立设计的约束层。 + +**Harness design sets the ceiling for safe deployment**：骨架设计决定了安全上限——无论模型多强，如果骨架不实施执行级约束，安全无法保证。Claude Code 相比 OpenClaw 同步提升了完成度和安全性，说明好的骨架设计可以同时优化两者。 diff --git a/reviews/btsd-review-20260617.md b/reviews/btsd-review-20260617.md new file mode 100644 index 0000000..e892408 --- /dev/null +++ b/reviews/btsd-review-20260617.md @@ -0,0 +1,50 @@ +--- +title: "Bellman-Taylor Score Decoding 论文集成 Review" +created: 2026-06-17 +type: review +--- + +# 📌 基本信息 + +- **论文**：Bellman–Taylor Score Decoding for MDPs with State-Dependent Feasible Action Sets +- **作者**：Yi Chen, Rushuai Yang, Qiang Chen, Dongyan (Lucy) Huo — HKUST +- **领域**：cs.AI / Operations Research / DRL +- **arXiv**：2606.10979v1 (2026-06-09) + +# 🎯 核心概念 + +1. **[[bellman-taylor-score-decoding|BTSD]]** — Taylor 展开 Q 函数 → 得分驱动的动作选择 +2. **[[latent-score-mdp|潜在得分 MDP]]** — 诱导后的标准化 MDP，动作空间 = 欧氏空间 +3. **[[action-decoder|动作解码器]]** — 前向优化求解器，分离学习与可行性 +4. **[[state-dependent-feasible-action-sets|状态依赖可行动作集]]** — OR MDP 的核心挑战 +5. **[[queueing-network-control|排队网络控制]]** — 主要验证场景 + +# 🔗 概念网络 + +``` +State-Dependent Feasible Action Sets + ↓ (DRL 接口不兼容) +Taylor Expansion of Q-Function + ↓ +Continuation Value Function → Post-Action Configuration + ↓ +Action Decoder → Latent-Score MDP → BTSD-PPO + ↓ +Queueing Network Control (验证) +``` + +**关联已有知识**：通过 [[reinforcement-learning]]（已存在）与 wiki 的 RL 子网络连接。这是 wiki 中首个覆盖**OR × DRL 接口问题**的论文集成。 + +# 📚 Wiki 集成 + +- **新增页面**：10 个（1 论文 + 8 概念 + 1 raw） +- **总规模**：869 → 879 页（+10） +- **全新应用领域**：运筹学 MDP 的 DRL 接口标准化 + +# 💡 关键洞察 + +1. **"标准化接口而非动作空间"是优雅的工程设计**：BTSD 不尝试嵌入 A(s) 到 DRL，而是为 DRL 创造一个标准化的代理空间。这是一种"适应中间层"的设计哲学。 + +2. **解码器无需求导是实用的关键**：与 differentiable optimization 不同，BTSD 解码器仅在前向传播中使用。这对带整数变量的 OR 问题至关重要——组合优化器天然不可微。 + +3. **Taylor 展开提供了性能保证的可分解性**：最优性差距被严格分解为结构近似误差（仅依赖 MDP 属性）和算法学习误差（依赖 DRL 算法）——这种"问题难度与算法能力的解耦"是理论分析的理想形态。 diff --git a/reviews/cantor-stole-infinity-2026-06-07.md b/reviews/cantor-stole-infinity-2026-06-07.md new file mode 100644 index 0000000..38818ec --- /dev/null +++ b/reviews/cantor-stole-infinity-2026-06-07.md @@ -0,0 +1,63 @@ +--- +title: "窃取无穷的数学家 — 康托尔与狄德金的历史真相" +created: 2026-06-07 +type: review +source: "Quanta Magazine / 环球科学 2026年6月刊" +--- + +# Review: 窃取无穷的数学家 + +📌 **基本信息** +- **文章标题**：窃取无穷的数学家（The Man Who Stole Infinity） +- **作者**：约瑟夫·豪利特 (Joseph Howlett) +- **来源**：Quanta Magazine / 环球科学 2026年6月刊 +- **领域**：数学史、科学社会学、学术伦理 +- **添加时间**：2026-06-07 + +--- + +🎯 **核心概念** + +1. **无穷层级体系 ([[infinity-hierarchy]])** — 康托尔和狄德金共同奠定的发现：无穷并非单一概念，存在可数与不可数等严格层级。这是数学4000年历史上最重要的发现之一。 + +2. **代数数的可数性 ([[algebraic-numbers-countability]])** — 狄德金1873年证明代数数集合与整数等大（可数）。这一证明被康托尔纳入1874年论文而未给出处。2025年失踪信件的发现提供了确凿证据。 + +3. **数学优先权争议 ([[mathematical-priority-disputes]])** — 科学发展往往是协作的产物，但主流叙事偏好单一英雄。"孤独天才"的神话遮蔽了狄德金在无穷理论中的关键角色150年。 + +4. **学术伦理的时代表迁** — 康托尔的"特洛伊木马"策略（用代数数证明作掩护，隐藏狄德金贡献，避开克罗内克尔审查）反映了19世纪学术界的生存智慧与道德灰色地带。 + +--- + +🔗 **概念网络** + +**核心连接**：[[georg-cantor]] ↔ [[richard-dedekind]] ↔ [[infinity-hierarchy]] ↔ [[algebraic-numbers-countability]] ↔ [[set-theory-history]] + +**扩展网络**：连接了 6 个新概念和 4 个已有历史人物/事件概念 + +**网络特征**：以康托尔-狄德金双边关系为轴心，辐射至集合论史、无穷理论、学术伦理三个方向，形成紧密的概念三角形 + +**修复断链**：0 — 全部选用英文 kebab-case 文件名，无中文 wikilink 目标 + +--- + +📚 **Wiki 集成** + +- **新增页面**：11 个（1 article + 1 raw archive + 9 concepts） +- **文章页面**：[[cantor-stole-infinity]] +- **概念页面**：[[georg-cantor]], [[richard-dedekind]], [[infinity-hierarchy]], [[countable-uncountable-infinity]], [[algebraic-numbers-countability]], [[emmy-noether]], [[leopold-kronecker]], [[mathematical-priority-disputes]], [[set-theory-history]] +- **链接密度**：新页面间共 32 个交叉引用 +- **网络完整**：✅ 100% 无断链 +- **总规模**：646 页 + +--- + +💡 **关键洞察** + +**1. 历史叙事与数学真理的张力** + +这篇文章揭示的不仅是单个署名瑕疵，而是一个结构性现象：数学史更喜欢"孤独天才"的故事而非"两人相遇于湖畔"。狄德金150年无英文传记，康托尔成为民谣般的英雄——这种叙事不对称本身就是一个需要被修正的偏见。费雷罗斯一语中的："这种故事总是谎言。" + +**2. 从"谁先发现"到"我们如何知道"** + +2025年戈斯在哈雷大学找到失踪信件的戏剧性过程（两次往返10小时火车、电话停用、德国学术界的抵触）本身就是一个关于科学证据如何浮出水面的案例研究。它提醒我们：我们知道的数学史总是不完整的，档案的偶然性决定了哪些真相能被还原。 + diff --git a/reviews/claw-swe-bench-review-20260615.md b/reviews/claw-swe-bench-review-20260615.md new file mode 100644 index 0000000..28cbfc8 --- /dev/null +++ b/reviews/claw-swe-bench-review-20260615.md @@ -0,0 +1,59 @@ +--- +title: "Claw-SWE-Bench 论文集成 Review" +created: 2026-06-15 +updated: 2026-06-15 +type: review +tags: [review, benchmark, coding-agent] +sources: [raw/papers/zheng-claw-swe-bench-2026.md] +--- + +# Claw-SWE-Bench Review + +📌 **基本信息** +- 论文：Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks +- 作者：Mengyu Zheng et al.（16 位，TokenRhythm / Infinigence AI / CityU HK / 北大 / 上海交大 / 北京交大 / 清华） +- arXiv：2606.12344v1 | 日期：2026-06-10 | 领域：cs.LG, cs.CL +- 资源：[GitHub](https://github.com/opensquilla/claw-swe-bench) | [HuggingFace](https://huggingface.co/datasets/TokenRhythm/Claw-SWE-Bench) + +--- + +🎯 **核心概念** + +1. **Agent Harness (Claw)** — 将 LLM 包装为自主编程系统的工程层。不是模型本身，而是 agent 循环、工具接口、停止策略等。Claw-SWE-Bench 首次将其作为受控实验变量。 + +2. **Adapter Protocol** — 标准化的 5 方法生命周期接口，将异构 harness 连接到统一评测管道。Full Adapter 将 Apply Failed 从 69.1% 降至 <1.5%，Pass@1 从 19.1% 跃升至 73.4%。 + +3. **Cost-Aware Benchmarking** — 将总 API 代价、墙钟时间、缓存命中率作为与 Pass@1 并列的第一等评测轴。GPT 5.5 ($1,399) 和 DeepSeek-V4 Flash ($8.2) 在相似准确率下代价相差 170 倍。 + +4. **Pareto Frontier** — 在准确率-代价二维平面上识别非支配操作点，使"略低准确率但极低代价"的系统获得可解释的定位。 + +5. **Claw-SWE-Bench Lite** — 80-instance 代价感知子集，保留 full-350 的 Pass@1 尺度和排序稳定性，运行代价仅 22.9%。 + +6. **Future-Commit Cleanup** — 移除 non-Python 实例中 base_commit 后的 Git 历史。清理后 Pass@1 从不上涨；Claude Opus 4.7 下降最多（−8.0 pp），揭示不同模型对信息泄露的利用差异。 + +--- + +🔗 **概念网络** + +- **核心连接**：`agent-harness` ↔ `adapter-protocol` ↔ `patch-based-evaluation` ↔ `swe-bench` +- **评测轴连接**：`cost-aware-benchmarking` ↔ `pareto-frontier-evaluation` ↔ `claw-swe-bench-lite` +- **公平性连接**：`future-commit-cleanup` ↔ `bare-adapter`（诊断基线） +- **交互效应**：`harness-model-interaction` 连接 model 轴与 claw 轴 +- **实体引用**：`openclaw` 作为参考 claw + +📊 **新增页面**：12 个（1 论文 + 11 概念） +📊 **链接密度**：核心概念平均 3-4 个出站链接 +✅ **网络完整**：100% 无断链 +📈 **总规模**：799 → 810 页 + +--- + +💡 **关键洞察** + +1. **Harness 是第一序变量，不是实现细节。** Harness 选择在固定模型下产生 12.5-27.4 pp 的 Pass@1 差距——足以重排 Leaderboard。此前所有 SWE-bench 衍生工作均未将 harness 作为受控变量。 + +2. **Adapter 不是工程包装，是评分可靠性的必要条件。** 直接输出 unified-diff 文本的脆弱性导致 69.1% 的 patch 无法 apply——这不是模型能力问题，是输出合约问题。 + +3. **准确率与代价的脱耦是 benchmark 设计问题。** 仅报告 Resolved Rate 会隐性奖励更长探索和更高预算。将代价设为第一等轴使小团队和学术组的参与成为可能——DeepSeek-V4 Flash 以不到 $10 达到 70.3% Pass@1。 + +4. **Future-Commit 清理揭示模型对信息泄露的异构敏感性。** 不同模型利用"未来信息"的程度差异巨大（1-8 pp），控制这一变量对于公正比较至关重要。 diff --git a/reviews/dead-directions-20260610.md b/reviews/dead-directions-20260610.md new file mode 100644 index 0000000..4f746a8 --- /dev/null +++ b/reviews/dead-directions-20260610.md @@ -0,0 +1,45 @@ +--- +title: "Review: Dead Directions — Geometric Singular Learning" +created: 2026-06-10 +type: review +paper: "[[dead-directions-geometric-singular-learning]]" +--- + +# Review: Dead Directions — Geometric Singular Learning + +📌 **基本信息** +- 论文：Dead Directions: Geometric Singular Learning +- 作者：Tejas Pradeep Shirodkar (IIIT Hyderabad) +- 领域：奇异学习理论 × 信息几何 × 深度学习理论 +- arXiv：2606.05957v1 [cs.LG, stat.ML], 2026 | 139 pages + +🎯 **核心贡献** + +1. **Dead Direction 桥接原语** — 同一向量同时是 Amari 的 Fisher 退化方向和 Watanabe 的奇异集切向量。KL 阶可在原始坐标中从 Fisher 曲率衰减率恢复。 + +2. **无需广中平祐消解** — 传统 SLT 需要 blow-up（对百万参数网络不可行）；本文在原始参数坐标中直接计算 lambda。 + +3. **单 Checkpoint 读取 Watanabe 三元组** — 从一次前向+反向传播计算 (lambda, m, nu)，无需 MCMC 后验采样。 + +4. **DDCAdam 优化器** — 标准 Adam 破坏奇异几何；DDCAdam 保持 G-等变性，使训练轨迹中的 SLT 信号可读。 + +🔗 **概念网络** + +``` +Dead Direction ←→ KL Order ←→ RLCT (lambda) + ↓ ↓ +Fisher Metric (Info Geometry) → Singular Learning Theory + ↓ ↓ + DDCAdam ←→ Gauge Quotient Watanabe's Triple (lambda,m,nu) +``` + +📊 **Wiki 集成** +- 新增页面：9 个（1 论文 + 8 概念） +- 链接完整性：100% +- 总规模：729 → **738** 页 + +💡 **关键洞察** + +这篇 139 页的论文解决了一个困扰领域二十年的问题：**SLT 和信息几何使用几乎不相交的词汇描述同一参数空间**。Dead Direction 是第一个在两个框架中具有明确双重解读的数学对象，KL 阶是第一个可被两方计算的桥接不变量。 + +实践意义巨大：首次使 SLT 分析在**实际规模的深度网络**上可行——从单个 checkpoint 的梯度信息中直接提取泛化理论的不变量，无需 blow-up，无需后验采样。这对理解大模型的泛化行为可能具有基础性影响。 diff --git a/reviews/flex4dhuman-review-20260613.md b/reviews/flex4dhuman-review-20260613.md new file mode 100644 index 0000000..ea5fcf3 --- /dev/null +++ b/reviews/flex4dhuman-review-20260613.md @@ -0,0 +1,51 @@ +--- +title: "Review: Flex4DHuman — 无几何先验的多视角视频扩散" +created: 2026-06-13 +updated: 2026-06-13 +type: review +tags: [computer-vision, video-generation, 4d-reconstruction, paper-review] +sources: [raw/papers/cheng-flex4dhuman-2026.md] +--- + +# Flex4DHuman Review + +📌 **基本信息** +- **论文**: Flex4DHuman: Flexible Multi-view Video Diffusion for 4D Human Reconstruction +- **作者**: Jen-Hao Cheng (UW), Yipeng Wang*, Hao Zhang, Gengshan Yang (World Labs), Jenq-Neng Hwang (UW) +- **领域**: cs.CV / cs.GR · 多视角视频生成 · 4D 重建 +- **arXiv**: 2606.13655 · **发布日期**: 2026-06-11 +- **添加时间**: 2026-06-13 + +🎯 **核心概念** + +1. **[[five-axis-positional-encoding|五轴位置编码]]** — 将 RoPE 从 (t, h, w) 扩展为 (time, view, SE3, h, w)，零额外参数实现相机感知 +2. **[[se3-relative-camera-encoding|SE(3) 相对相机编码]]** — 基于 [[prope|PRoPE]] 将连续相机几何直接注入注意力，替代 ray-map 等需额外通道的方案 +3. **[[clean-conditioning-mask|清洁条件掩码]]** — 36 通道布局区分参考/目标 token，训练推理统一 +4. **[[three-stage-curriculum-training|三阶段课程训练]]** — 轴分离式渐进：位姿跟随 → 动态参考 → 时间展开 +5. **[[temporal-rollout|时间滚动展开]]** — 分块推理 + 清洁历史重叠，支持任意长度生成 +6. **[[teacher-forced-history|教师强制历史]]** — 训练时用 GT 帧作历史条件，消除推理时的分布偏移 +7. **[[multi-view-captioning|多视角字幕]]** — Gemini 3 Flash 生成 25k 条外观描述，侧重服饰/体型/动物 +8. **[[monocular-video-to-4d|单目视频到 4D]]** — 端到端管线：生成 → 分割 → FreeTimeGS → 场景组合 +9. **[[4d-gaussian-splatting|4D 高斯泼溅]]** — 动态高斯泼溅表示，应用的最终输出格式 + +🔗 **概念网络** +- **核心连接**: flex4dhuman ↔ five-axis-positional-encoding ↔ se3-relative-camera-encoding ↔ prope ↔ rope +- **训练链**: three-stage-curriculum-training → teacher-forced-history → temporal-rollout +- **数据链**: multi-view-captioning → flex4dhuman +- **应用链**: flex4dhuman → monocular-video-to-4d → 4d-gaussian-splatting → freetimegs +- **外部连接**: [[flow-matching|Flow Matching]]、[[rotary-position-embedding|RoPE]]（已有概念） +- **新增概念**: 10 个（prope 桥接已有 [[rotary-position-embedding|RoPE]]） + +📚 **Wiki 集成** +- **新增页面**: 13 个（1 论文 + 10 核心概念 + 1 占位 FreetimeGS + 1 Review） +- **总规模**: 762 → 774 页 +- **链接密度**: 核心概念平均 3.5 个出站链接 +- **网络完整**: ✅ 100% 无断链 + +💡 **关键洞察** + +1. **"不去显式建模几何"是一条被验证的新范式**。Flex4DHuman 不使用骨骼、深度、法线或渲染几何，仅靠 PRoPE 将相机几何注入注意力——结果反而超越了依赖 GT 骨骼的 Diffuman4D（+1.21 dB PSNR）。这说明在生成式重建中，**让注意力本身理解几何**比给它提供显式几何信号更有效——前者不会引入估计误差的级联放大。 + +2. **架构最小修改原则的力量**。整个 Flex4DHuman 对 Wan 2.1 的架构修改**仅限于自注意力的位置编码重新分配**（44 维时间 → 16+8+20），无额外层、无额外参数。这使得 1.3B 预训练视频先验得以完整保留，仅通过 position encoding 的语义重映射就实现了跨模态（视频→多视角）的迁移。这种"外科手术式"的微调策略值得关注——它暗示大模型的多模态扩展可能不需要架构重构，而只需要更智能的输入编码。 + +3. **跨物种泛化暗示"几何无关"的真正含义**。模型在人类数据上训练后，仅靠微调即可泛化到动物类别（跨物种 PSNR 仅降 1.8 dB）。这验证了无几何先验设计的核心假设：只要相机位姿编码得当，相同架构可以服务于任何可变形主体的多视角生成——不需要按类别定制的人体模型。 diff --git a/reviews/geometric-sae-review-20260617.md b/reviews/geometric-sae-review-20260617.md new file mode 100644 index 0000000..73b9140 --- /dev/null +++ b/reviews/geometric-sae-review-20260617.md @@ -0,0 +1,49 @@ +--- +title: "Geometric SAE 论文集成 Review" +created: 2026-06-17 +type: review +--- + +# 📌 基本信息 + +- **论文**：A Geometric View for Understanding Concept Learning and Neuron Interpretation in Sparse Autoencoders +- **作者**：Chenhao Zhang, Chris Lin, Su-In Lee — University of Washington +- **领域**：cs.LG / Mechanistic Interpretability +- **arXiv**：2606.07007v1 (2026-06-05) + +# 🎯 核心概念 + +1. **[[sparse-autoencoder|SAE]]** — 机制可解释性的核心工具：过完备稀疏字典解耦叠加表征 +2. **[[polysemanticity|多义性/单义性]]** — 神经元可解释性的核心挑战与目标 +3. **[[concept-learning|概念学习三层]]** — detection → separation → approximation，几何条件递进 +4. **[[formal-concept-analysis|FCA]] / [[concept-lattice|概念格]]** — 组织神经元-概念多对多关系的数学框架 +5. **[[absolute-gating|绝对 vs 相对门控]]** — SAE 架构分类决定几何性质 + +# 🔗 概念网络 + +**核心链路**： +``` +Superposition → Polysemanticity → SAE → Absolute/Relative Gating + ↓ ↓ +Linear Rep. Hypothesis ←→ Hyperplane Arrangements + ↓ ↓ +Concept Learning ←→ Formal Concept Analysis → Concept Lattice + ↓ +Feature Splitting / Absorption / Family +``` + +**与已有知识的关联**：通过 [[linear-representation-hypothesis]]（已存在）和 [[superposition]]（新增）与现有 wiki 概念形成桥梁。这是 wiki 中**首个覆盖机制可解释性**的论文集成。 + +# 📚 Wiki 集成 + +- **新增页面**：14 个（1 论文 + 12 概念 + 1 raw） +- **总规模**：855 → 868 页（+13，review 不计入） +- **全新子领域**：机制可解释性（mech interp）——此前 wiki 零覆盖 + +# 💡 关键洞察 + +1. **概念 = 集合** 是最优雅的起点：放弃"概念 = 方向"的线性假设，将概念直接定义为数据点集合。这一简单抽象使整个 SAE 分析具有几何清晰性——概念学习就是集合对齐、神经元解释就是集合表征。 + +2. **三层学习层次是工程指南**：Detection（覆盖）、Separation（独占）、Approximation（紧致包围）——每一层对应不同的应用场景和几何条件。Theorem 5.8（近似 ↔ 凸性）是限制 SAE 能力的根本瓶颈。 + +3. **概念格解决了解释的模糊性**：FCA 揭示概念学习与神经元解释是**不对偶**的——两者不必一致。概念格组织多对多关系，避免强行选择"最佳单一匹配"带来的信息损失。 diff --git a/reviews/lecun-llm-20260608.md b/reviews/lecun-llm-20260608.md new file mode 100644 index 0000000..b8fb517 --- /dev/null +++ b/reviews/lecun-llm-20260608.md @@ -0,0 +1,91 @@ +--- +title: "Review: LeCun 论 LLM 的边界与未来架构" +created: 2026-06-08 +type: review +subject: lecun-llm-boundary-future +--- + +# 📌 Review: LeCun 论 LLM 的边界与未来架构 + +**基本信息** +- 来源：Datawhale 公众号 (https://mp.weixin.qq.com/s/Zau10ioTWzhj0KOImpasNg) +- 作者：徐虎、李盛康、蒋银河、黎又榛 +- 类型：工程教程 / 体系化综述 +- 添加时间：2026-06-08 +- 所属项目：Datawhale DIY-LLM + +--- + +## 🎯 核心概念 + +1. **[[jepa|JEPA]]** — 联合嵌入预测架构，在抽象表征空间（非像素/非token）做预测的自监督学习范式，是 LeCun 世界模型路线的核心方法论 +2. **[[world-model-lecun|LeCun 世界模型]]** — "能让智能体预测自身行动后果的事物"，服务规划而非生成，区别于 Dreamer/Sora 等生成式路线 +3. **[[vla-vision-language-action|VLA]]** — 视觉-语言-动作模型，LeCun 判断"基本失败"，四个层面：可靠性、数据成本、泛化、规划 +4. **[[representation-collapse|表征坍缩]]** — JEPA 最难问题，模型将所有输入映射为同一向量来"作弊"。三条解决路线中 SIGReg 最被看好 +5. **[[sigreg|SIGReg]]** — Cramér-Wold 定理驱动的防坍塌方案，强制嵌入分布匹配各向同性高斯分布，将防坍塌从工程启发式转化为数学问题 +6. **[[objective-driven-ai|目标驱动AI]]** — 替代 LLM 的安全架构，行为通过优化代价函数驱动，"从构造上无法违反"安全约束 +7. **[[tapestry-federated|Tapestry]]** — 联邦式全球训练，贡献者共享参数向量而非数据，对主权AI的工程回应 +8. **[[leworldmodel|LeWorldModel]]** — 首个端到端 JEPA 世界模型，15M 参数，Push-T 成功率 96%，规划速度比 DINO-WM 快 50× + +--- + +## 🔗 概念网络 + +**核心链路**： +``` +LLM 结构性缺陷 + ├── [[action-consequence-prediction|预测行动后果]] ← [[jepa|JEPA]] 解决 + └── [[multi-step-planning|多步规划]] ← [[world-model-lecun|世界模型]] + [[objective-driven-ai|目标驱动AI]] 解决 + +JEPA 技术树 + ├── [[abstract-representation-space|抽象表征空间]]（预测空间） + ├── [[representation-collapse|表征坍缩]]（核心挑战） + │ ├── [[vicreg|VICReg]]（3项损失） + │ └── [[sigreg|SIGReg]]（1个超参）← 当前最优 + └── [[leworldmodel|LeWorldModel]]（工程验证） + +安全路径分叉 + ├── LLM: RLHF/宪法AI → 概率性软约束 → 可越狱 + └── [[objective-driven-ai|目标驱动AI]]: 代价函数优化 → 架构硬约束 → "从构造上无法违反" + +开源生态 + ├── [[data-wall|数据墙]] → 公开文本枯竭 + ├── [[tapestry-federated|Tapestry]] → 私域数据联邦接入 + └── [[sovereign-ai|主权AI]] → 认知主权诉求 +``` + +**扩展连接**： +- JEPA ↔ [[internal-world-model|涌现式世界模型]]（CTM，对比视角） +- [[data-wall|数据墙]] ↔ [[model-collapse-step|模型崩塌]]（合成数据风险） +- [[world-model-lecun|LeCun 世界模型]] ↔ [[jepa|JEPA]] ↔ [[objective-driven-ai|目标驱动AI]]（三位一体架构） + +--- + +## 📚 Wiki 集成详情 + +- **新增：15 页**（1 文章 + 14 概念） +- **总规模**：647 → **662 页** +- **链接密度**：核心概念平均 8+ 个交叉引用 +- **文章类别**：`articles/`（工程教程/公众号文章） +- **来源关联**：[[raw/articles/lecun-llm-boundary-future-2026|raw 存档]] + +--- + +## 💡 关键洞察 + +1. **LLM 的成功正是它的局限所在**：离散 token + 可计算预测目标让 LLM 强大，但也锁死了它的能力边界——真实世界不是有限离散符号集。这解释了为什么"加强版 LLM"（RAG/CoT/ToolUse）无法跨越"理解物理世界"这道墙。 + +2. **水瓶类比的深层含义是信息论级别的**：像素空间的条件熵 $H(pixel|context)$ 极高——不是在工程上不方便，而是在信息论上不可约。JEPA 选择在语义空间做预测不是 taste 问题，是必然。这从根本上否定了生成式世界模型（Sora 类）的技术路线。 + +3. **安全问题的范式分叉**：目标驱动AI vs LLM 的安全差异不是在"做得更好"，而是两个完全不同的安全范式——前者是架构上的"不可能"，后者是概率上的"不太可能"。这个差异的价值在越狱攻击面前会被急剧放大。 + +4. **这篇文章的真正价值**：不是介绍了什么新技术，而是把 LeCun 散落在访谈/推文/论文中的碎片化观点连成了一条完整的逻辑线，让读者能看清"他为什么这么想"而不仅是"他想了什么"。 + +--- + +## 📎 阅读路径 + +- 快速了解 → [[lecun-llm-boundary-future|文章主页面]] +- 技术深挖 → [[jepa|JEPA]] → [[sigreg|SIGReg]] → [[leworldmodel|LeWorldModel]] +- 安全视角 → [[objective-driven-ai|目标驱动AI]] +- 生态视角 → [[tapestry-federated|Tapestry]] → [[sovereign-ai|主权AI]] diff --git a/reviews/leworldmodel-20260608.md b/reviews/leworldmodel-20260608.md new file mode 100644 index 0000000..e5ba28f --- /dev/null +++ b/reviews/leworldmodel-20260608.md @@ -0,0 +1,70 @@ +--- +title: "Review: LeWorldModel (arXiv:2603.19312)" +created: 2026-06-08 +type: review +subject: maes-leworldmodel-2026 +--- + +# 📌 Review: LeWorldModel (arXiv:2603.19312) + +**基本信息** +- 论文: LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels +- 作者: Lucas Maes*, Quentin Le Lidec*, Damien Scieur, Yann LeCun, Randall Balestriero +- 机构: Mila/UdeM, NYU, Samsung SAIL, Brown University +- 领域: 世界模型 / JEPA / 端到端学习 +- 添加时间: 2026-06-08 + +--- + +## 🎯 核心概念 + +1. **端到端 JEPA 世界模型** — 首个无需 stop-gradient、EMA、预训练编码器的纯端到端 JEPA，15M 参数从原始像素稳定训练 +2. **[[sigreg|SIGReg]] 防坍塌** — 通过 Cramér-Wold 定理强制嵌入匹配各向同性高斯分布，1 个超参 λ 替代 PLDM 的 6 个 +3. **[[pldm|PLDM]] 对比** — 唯一端到端替代方案暴露的 VICReg 局限：7 项损失互相拉扯、调参困难；LeWM 将其压缩为 2 项 + 单调收敛 +4. **AdaLN 动作注入** — 自适应层归一化零初始化渐进注入，避免剧烈改变预测器行为；BatchNorm 投影头保 SIGReg 优化 + +--- + +## 🔗 概念网络 + +**已建立连接（复用已有概念）**: +``` +[[maes-leworldmodel-2026]] +├── [[leworldmodel]]（概念页） +├── [[jepa]]（架构基础） +├── [[sigreg]]（防坍塌核心） +├── [[pldm]]（新增，唯一对比基线） +├── [[representation-collapse]]（核心挑战） +├── [[abstract-representation-space]]（预测空间） +├── [[world-model-lecun]]（理论框架） +├── [[objective-driven-ai]]（下游应用） +└── [[lecun-llm-boundary-future]]（Datawhale 梳理文章） +``` + +--- + +## 📚 Wiki 集成 + +- **新增**: 3 页（1 论文 + 1 概念 + 1 review） +- **复用概念**: 6 个（leworldmodel, jepa, sigreg, representation-collapse, world-model-lecun, abstract-representation-space） +- **总规模**: 663 → **665 页** +- **双向链接**: 概念页 `leworldmodel` ↔ 论文页 `maes-leworldmodel-2026` + +--- + +## 💡 关键洞察 + +1. **"化繁为简"是这篇论文的最大贡献**：不是提出了什么全新架构，而是证明了在自监督学习领域中，防坍塌可以不需要那么多工程技巧——一个数学上干净的分布匹配（SIGReg）+ 2 项损失就够了。这种"化繁为简"的价值在于**工程可复现性**和**理论可分析性**。 + +2. **LeCun 的战略性推荐**：这篇是 LeCun 在访谈中唯一推荐的具体世界模型论文。15M 参数的小模型、单 GPU 训练，透露出他对路径的务实判断——不是要做一个巨大的通用世界模型，而是先验证"端到端 JEPA 能稳定训练"这个最基本的工程前提。这正是 LeCun 给团队定的"12-18 个月内工业场景演示"路线图中的里程碑。 + +3. **速度优势的更深意义**：48× 比 DINO-WM 快不只是工程上的锦上添花——它意味着 JEPA 路线在规划效率上有**结构性优势**（token 数减少 200×），这在需要实时规划的应用场景（机器人、工业控制）中是决定性差异。 + +--- + +## 📎 阅读路径 + +- 15 分钟了解 → [[maes-leworldmodel-2026|论文主页]] +- 技术细节 → [[jepa]] → [[sigreg]] → [[leworldmodel]] +- 对比视角 → [[pldm]]（PLDM 的 VICReg 路线困境） +- 宏观视角 → [[lecun-llm-boundary-future]]（LeCun 完整判断） diff --git a/reviews/life-harness-review-20260611.md b/reviews/life-harness-review-20260611.md new file mode 100644 index 0000000..1a9c827 --- /dev/null +++ b/reviews/life-harness-review-20260611.md @@ -0,0 +1,54 @@ +--- +title: "Life-Harness — Runtime Harness Adaptation 论文 Review" +created: 2026-06-11 +updated: 2026-06-11 +type: review +tags: [review, agent, harness, runtime-adaptation] +sources: [raw/papers/xu-life-harness-runtime-adaptation-2026.md] +--- + +# Life-Harness Review + +## 📌 基本信息 + +- **论文**: "Adapting the Interface, Not the Model: Runtime Harness Adaptation for Deterministic LLM Agents" +- **作者**: Tianshi Xu†, Huifeng Wen†, Meng Li (Peking University) +- **领域**: Agent Systems / Runtime Engineering (cs.AI) +- **arXiv**: 2605.22166v2, 2026-05-21 +- **代码**: github.com/Tianshi-Xu/Life-Harness +- **Wiki 集成时间**: 2026-06-11 + +## 🎯 核心概念 + +1. **[[runtime-harness-adaptation|Runtime Harness Adaptation]]** — 不更新模型权重，而是进化运行时接口层：将训练轨迹中的反复失败转化为结构化的接口干预 +2. **[[lifecycle-aware-harness|Lifecycle-Aware Harness]]** — 将 Agent 交互分解为四个生命周期阶段（契约→技能→实现→调控），每层部署专门干预 +3. **[[runtime-interface-adaptation|Runtime Interface Adaptation]]** — 与 Parameter Adaptation 互补的 Agent 改进范式：适配接口而非参数 +4. **[[cross-model-harness-transfer|Cross-Model Harness Transfer]]** — 在 Qwen3-4B 上训练的 Harness 直接复用给其他 17 个模型，证明环境侧结构的可迁移性 + +## 🔗 概念网络 + +- **核心连接**: runtime-harness-adaptation ↔ lifecycle-aware-harness ↔ 四层架构（contract → skill → realization → regulation） +- **已有网络连接**: 与 [[agent-harness-engineering]]、[[agent-harness-mini]] 形成 broader harness 谱系 +- **新增连接**: 10 个新概念全部互链，无断链 +- **跨模型概念**: harness-evolution → cross-model-harness-transfer 形成"进化→复用"闭环 + +## 📊 实验亮点 + +- **7 环境 × 18 模型**: τ-bench / τ²-bench / AgentBench +- **116/126 提升** (92.1% 组设置提升) +- **平均相对增益 88.5%** +- **跨模型迁移**: Qwen3-4B → 17 个模型，无需重新训练 +- **互补性**: Qwen2.5-32B + Harness 超越其工具微调衍生版 xLAM2 + +## 📚 Wiki 集成 + +- 新增页面：**11 个**（1 论文 + 10 概念） +- 链接密度：核心概念平均 4.2 个 outbound 链接 +- 网络完整：**100% 无断链** +- 总规模：750 → **761 页** + +## 💡 关键洞察 + +1. **接口工程 > 模型训练**（在确定性领域）：当大量 Agent 失败源于工具契约误解、格式错误、轨迹退化时，最有效的改进路径是修复接口层而非提升模型推理能力。这不仅仅是成本优化——是对问题根源的正确归因。 + +2. **环境侧结构是跨模型通货**：Harness 的跨模型可迁移性揭示了确定性 Agent 环境中存在一套与模型无关的"规则接口"——将其从隐性期望转为显性约束，是 Agent 系统工程的杠杆点。 diff --git a/reviews/ma-intragent-review-20260604.md b/reviews/ma-intragent-review-20260604.md new file mode 100644 index 0000000..45562ee --- /dev/null +++ b/reviews/ma-intragent-review-20260604.md @@ -0,0 +1,77 @@ +--- +title: "IntrAgent — Content-Grounded Literature Retrieval Review" +type: review +created: 2026-06-04 +arxiv: "2604.22861" +paper: "ma-intragent-2026" +--- + +# 📌 基本信息 + +- **论文**: IntrAgent: An LLM Agent for Content-Grounded Information Retrieval through Literature Review +- **作者**: Fengbo Ma*, Zixin Rao*, Xiaoting Li, Zhetao Chen, Hongyue Sun, Yiping Zhao, Xianyan Chen†, Zhen Xiang† (University of Georgia) +- **arXiv**: 2604.22861 +- **领域**: LLM Agent, Information Retrieval, Scientific Literature QA +- **添加时间**: 2026-06-04 +- **代码**: https://github.com/FengboMa/IntrAgent +- **数据集**: https://huggingface.co/datasets/IntrAgent/IntraBench + +# 🎯 核心概念 + +1. **[[intraview|IntraView]]** — 内容锚定的科学文献信息检索任务：给定完整论文 + 查询 → 提取信息，严格限定于文献内容，信息缺失时明确承认 +2. **[[intragent|IntrAgent]]** — 首个解决 IntraView 的 LLM Agent，采用「心智仿生」设计，模拟人类阅读行为 +3. **[[section-ranking|Section Ranking]]** — 利用结构知识（[[hierarchy-preservation|层级保持]]）的推理驱动章节排序，替代 RAG 的语义相似度方法 +4. **[[iterative-reading|Iterative Reading]]** — 渐进式阅读：按序访问章节 → 提取细节 → [[sufficiency-check|充分性检查]] → 继续或终止 +5. **[[intrabench|IntraBench]]** — 315 实例 × 5 STEM 领域的首个 IntraView 基准，LLM 锚定多选题评估 +6. **[[content-grounded-retrieval]]** — 内容锚定作为忠实性的硬约束范式 + +# 🔗 概念网络 + +## 核心连接 + +``` +IntraView ──→ IntrAgent ──→ Section Ranking ──→ Hierarchy Preservation + │ │ + └──→ Iterative Reading ──→ Sufficiency Check + │ + └──→ Cross-Section Synthesis +``` + +## 外部连接 + +- **→ [[rag|RAG]]**: 传统 baseline — 结构与语义的根本差异 +- **→ [[hallucination-mitigation]]**: 充分性检查作为显式幻觉闸门 +- **→ [[scientific-literature-qa]]**: IntraView 在科学文献 QA 谱系中的定位 +- **→ [[content-question-answering|CQA]]**: IntraView 所属的任务范式 +- **→ [[mineru]]**: PDF 预处理管道的核心工具 +- **→ [[agent-harness-engineering]]**: Agent 设计方法论视角 + +## 网络扩展 + +- 新增概念页: **15 个**（含 3 个占位: content-question-answering, faithfulness-in-ai, pdf-processing） +- 连接已有概念: [[rag]], [[hallucination-mitigation]], [[agent-harness-engineering]], [[distractor-context]] + +# 📚 Wiki 集成 + +- **新增页面**: 17 个（1 论文主页面 + 1 raw + 15 概念） +- **链接完整性**: 100%（0 断链） +- **总规模**: 591 → **603 页** (+2.0%) +- **跨引用密度**: 核心概念平均 4.2 个外链 + +# 💡 关键洞察 + +### 1. 「结构」是科学文献检索中被低估的维度 + +RAG 把科学论文当作平面文本片段，忽略了章节层级蕴含的关键信息——"方法论"和"讨论"在语义相似度上可能接近，但它们对查询的意义完全不同。IntrAgent 的层级保持+推理排序解决了这个问题。这不是"更好 embedding"能解决的——需要结构感知推理。 + +### 2. 显式幻觉闸门 > 隐式可靠性 + +充分性检查是 IntrAgent 最优雅的设计。传统 RAG 的可靠性是隐式的——依赖检索质量+模型能力。而充分性检查在每个阅读步骤后显式问"够不够？不够就继续读"。这是一个简单但强大的范式：把质量控制的闸门前置，而不是事后验证。 + +### 3. 「心智仿生」是 Agent 设计的有效路径 + +IntrAgent 不是凭空设计新机制，而是系统地模仿人类阅读行为：先翻目录 → 挑相关章节 → 边读边判断 → 够了就停。这种 design-by-behavioral-analogy 在 Agent 设计中证明有效——13.2% 的跨领域提升不是来自更复杂的模型，而是来自更符合人类认知的流程。 + +--- + +*Review generated: 2026-06-04 | 小赫* diff --git a/reviews/minimax-policy-regret-pomg-20260610.md b/reviews/minimax-policy-regret-pomg-20260610.md new file mode 100644 index 0000000..1a24a18 --- /dev/null +++ b/reviews/minimax-policy-regret-pomg-20260610.md @@ -0,0 +1,55 @@ +--- +title: "Review: Minimax-Optimal Policy Regret in POMGs" +created: 2026-06-10 +type: review +paper: "[[minimax-policy-regret-pomg]]" +--- + +# Review: Minimax-Optimal Policy Regret in POMGs + +📌 **基本信息** +- 论文：Minimax-Optimal Policy Regret in Partially Observable Markov Games +- 作者：Raman Arora (Johns Hopkins University) +- 领域：多智能体 RL 理论 × 在线学习 × 部分可观测性 +- 发表：ICML 2026 [cs.LG, stat.ML] +- 添加时间：2026-06-10 + +🎯 **核心贡献** + +1. **POMG 的完整理论处理** — 首次在部分可观测马尔可夫博弈中建立策略后悔的 minimax 最优界 + +2. **因果分解** — 将 OOM 算子分解为世界通道 W_h 和对手聚合 G_h，使世界估计和对手控制可独立处理 + +3. **Epoch-based 乐观 MLE** — 几何增长 epoch + 累积置信集 + 乐观策略选择；仅 O(log T) 次策略切换 → 传输成本 polylog + +4. **匹配上下界** — O(sqrt(d_E * T)) 上界 vs Omega(sqrt(d_E * T)) 下界 → 在 sqrt(T) 和 Eluder 维度依赖性上均为 minimax 最优 + +🔗 **概念网络** + +``` +POMG ←→ Policy Regret ←→ Adaptive Adversary + ↓ ↓ ↓ +POMDP Minimax Optimality Posterior-Lipschitz + ↓ ↓ +OOM → Causal Decomposition Fading Memory + ↓ ↓ +Eluder Dimension ← Weak Revealing + ↓ +Epoch-based Optimistic MLE +``` + +- 核心链：[[partially-observable-markov-game|POMG]] → [[policy-regret|Policy Regret]] → [[minimax-optimality|Minimax]] +- 方法链：[[observable-operator-model|OOM]] → [[causal-decomposition-pomg|因果分解]] → [[epoch-based-optimistic-mle|乐观 MLE]] +- 结构条件：[[posterior-lipschitz-adversary|Posterior-Lipschitz]] + [[weak-revealing-condition|Weak Revealing]] + +📊 **Wiki 集成** + +- 新增页面：13 个（1 论文 + 12 概念） +- 链接完整性：100% 无断链 +- 总规模：695 → **708** 页 + +💡 **关键洞察** + +论文的理论优雅性在于因果分解这一结构洞察——将纠缠的世界动力学和对手响应干净地分离为两个独立可处理的组件。这一分解使得 POMG 的学习复杂性成为世界复杂度（d_Theta）和对手复杂度（d_Psi）的简单加和，且两者均被 [[eluder-dimension|Eluder 维度]]统一量化。 + +从实用角度看，几何增长 epoch 的策略切换成本控制（仅 O(log T) 次切换）是一个极具工程价值的技巧——在 regret 分析和实际部署中，策略切换的代价都是不可忽略的。 diff --git a/reviews/one-pass-to-reason-review-20260602.md b/reviews/one-pass-to-reason-review-20260602.md new file mode 100644 index 0000000..1f7ebbd --- /dev/null +++ b/reviews/one-pass-to-reason-review-20260602.md @@ -0,0 +1,72 @@ +--- +title: "Review: One-Pass to Reason — 多轮推理的高效单遍微调" +created: 2026-06-02 +type: review +paper: "[[goru-one-pass-to-reason-2025]]" +--- + +# Review: One-Pass to Reason + +> 📌 将多轮推理训练的 N 遍前向传播压缩为单遍——Token 复制 + 分块稀疏注意力 → O(N³) → O(N²) + +## 基本信息 + +- **论文**: One-Pass to Reason: Token Duplication and Block-Sparse Mask for Efficient Fine-Tuning on Multi-Turn Reasoning +- **作者**: Ritesh Goru, Shanay Mehta, Prateek Jain (DevRev) +- **发表**: ICML 2025 Workshop — 3rd Workshop on Efficient Systems for Foundational Models +- **arXiv**: 2504.18246 +- **代码**: [github.com/devrev/One-Pass-to-Reason](https://github.com/devrev/One-Pass-to-Reason) +- **数据集**: [MathChatSync Reasoning](https://huggingface.co/datasets/devrev-research/MathChatSync-reasoning) +- **添加时间**: 2026-06-02 + +## 核心概念 + +1. **[[one-pass-fine-tuning|One-Pass Fine-Tuning]]** — 通过 token 复制 + 自定义掩码实现单遍处理，Theorem 2.1 证明 loss 与 N-Pass 完全等价 +2. **[[token-duplication|Token Duplication]]** — 将 response token 复制为 ri_in（上下文，不看推理）和 ri_out（生成，看推理） +3. **[[block-sparse-attention|Block-Sparse Attention Mask]]** — 为不同 token 类型定制可见性规则的分块掩码 +4. **[[multi-turn-reasoning|Multi-Turn Reasoning Training]]** — 区别于传统多轮对话的独特训练挑战 +5. **[[visibility-constraint|Visibility Constraint]]** — 推理 token 对当前轮可见、对后续轮不可见的条件性可见需求 +6. **[[position-id-discrepancy|Position ID Discrepancy]]** — 回复 token 在生成与上下文两种场景中的位置不一致问题 +7. **[[k-pass-training|K-Pass Training]]** — N-Pass 与 1-Pass 之间的灵活连续统 +8. **[[mathchatsync-reasoning|MathChatSync Reasoning]]** — 首个公开多轮推理数据集 + +## 概念网络 + +**核心连接**（论文直接贡献的概念链）： +``` +One-Pass Fine-Tuning +├── Token Duplication ──── Block-Sparse Attention Mask +│ └── FlexAttention +├── Visibility Constraint ─ Position ID Discrepancy +├── K-Pass Training (速度-内存权衡) +└── Multi-Turn Reasoning Training + └── MathChatSync Reasoning (数据集) +``` + +**扩展网络**（桥接已有知识库）： +- → [[goru-one-pass-to-reason-2025|One-Pass to Reason]] +- → [[flex-attention|FlexAttention]]（后端） +- → [[flash-attention|FlashAttention-2]]（基线） +- → [[sequence-packing|Sequence Packing]]（叠加优化） +- → [[deepseek-r1|DeepSeek-R1]]（推理模型代表） +- → [[llama-factory|LLaMA-Factory]]（实现框架） +- → [[qlora|QLoRA]]（微调方法） +- → [[lora|LoRA]] +- → [[position-encoding|Position Encoding]] + +6 个占位符概念已创建并入网。 + +## Wiki 集成 + +- **新增页面**: 15 个（1 raw + 1 论文 + 8 核心概念 + 6 占位符） +- **链接密度**: 核心概念平均 4-6 个双向链接 +- **网络完整**: 100% 无断链 +- **总规模**: 546 → 561 页 + +## 关键洞察 + +1. **空间换时间的优雅实例**：多存一份 response（+33% 内存）换来 O(N) 量级的加速。这在工程实践中是极好的 trade-off。 + +2. **问题本身比解法更值得关注**：多轮推理训练的"可见性约束 + 位置 ID 偏差"这一对偶挑战，是在推理模型普及后才暴露出来的真实痛点——此前没人认真对待，因为根本没有多轮推理数据集。 + +3. **K-Pass 提供了工程灵活性**：不是非黑即白的 1-Pass vs N-Pass，而是一个连续统。对于生产环境，K=2（+21% 内存，+37% 加速）可能是最实用的配置。 diff --git a/reviews/onereason-review-20260610.md b/reviews/onereason-review-20260610.md new file mode 100644 index 0000000..48d2ebd --- /dev/null +++ b/reviews/onereason-review-20260610.md @@ -0,0 +1,50 @@ +--- +title: "OneReason Review — 生成式推荐的推理能力解锁" +created: 2026-06-10 +type: review +tags: [review, onereason, recommendation, reasoning] +--- + +# OneReason Review — 生成式推荐的推理能力解锁 + +> arXiv:2606.06260 | OneRec Team (Kuaishou) | 2026-06-10 集成 + +## 📌 基本信息 + +- **论文**: OneReason Technical Report +- **作者**: OneRec Team (Kuaishou, 40+ 作者) +- **领域**: 推荐系统 × LLM 推理 | cs.IR, cs.AI, cs.CL +- **特色**: 工业级生成式推荐推理模型，快手多业务线部署验证 + +## 🎯 核心概念 + +1. **Perception-Cognition 双支柱** — 推荐推理需要感知（itemic token 语义 grounding）+ 认知（结构化 CoT），缺一不可 +2. **R0-R3 四层推理** — Perception → Derivation → Evolution → Recommendation，从语义锚定到综合推荐决策 +3. **Specialize-then-Unify RL** — 先单域专项 RL 释放 thinking 优势，再跨域统一，逆向于 LLM 的「先广泛后专项」 +4. **溯因推理 (Abduction)** — 推荐推理本质是溯因不是演绎，从行为反推不可观测的用户意图 +5. **Thinking Supervision Transfer** — CoT 监督数据可提升 non-thinking mode，但机制未明（压缩？推理？交互？） + +## 🔗 概念网络 + +**核心连接**： +``` +onereason ↔ onerec ↔ generative-recommendation ↔ itemic-tokens +onereason ↔ perception-cognition-recommendation ↔ recommendation-reasoning +onereason ↔ recommendation-cot ↔ chain-of-thought +onereason ↔ specialize-then-unify-rl ↔ {rejection-sampling-fine-tuning, multi-teacher-on-policy-distillation} +``` + +**扩展网络**：连接了 13 个全新概念 + 更新 1 个已有概念 (chain-of-thought)，建立了推荐推理与 LLM 推理的跨域桥接。 + +## 📚 Wiki 集成 + +- **新增页面**：14 个（1 论文 + 13 概念） +- **更新页面**：1 个（chain-of-thought 追加推荐 CoT 段落） +- **链接完整性**：✅ 100% 无断链 +- **总规模**：666 → **680 页** + +## 💡 关键洞察 + +1. **推荐推理的独特性被系统性论证** — OneReason 不仅是工程报告，更是对「推荐为何需要自己的推理范式」的理论回答：纯 itemic token 无语义（需要 Perception）、推荐无单一正确答案且意图不可观测（需要 Abduction）、多域下 thinking 优势脆弱（需要 Specialize-then-Unify）。 + +2. **工业实践与学术研究的罕见对齐** — 快手在短视频/直播/广告/电商四个真实业务线验证了 CoT 对推荐的价值，且将开源 8B 和 0.8B 模型。这种「工业验证 + 学术系统化 + 开源」的组合在推荐领域极为稀有。 diff --git a/reviews/ortega-phd-review-20260617.md b/reviews/ortega-phd-review-20260617.md new file mode 100644 index 0000000..71063e7 --- /dev/null +++ b/reviews/ortega-phd-review-20260617.md @@ -0,0 +1,43 @@ +--- +title: "Ortega PhD Thesis 集成 Review" +created: 2026-06-17 +type: review +--- + +# 📌 基本信息 + +- **论文**：Uncertainty Estimation and Generalization Bounds for Modern Deep Learning +- **作者**：Luis A. Ortega Andrés — PhD Thesis, UAM, 2026 +- **导师**：Daniel Hernández-Lobato +- **领域**：cs.LG / Bayesian DL / Learning Theory +- **arXiv**：2606.13818v1 + +# 🎯 核心贡献 + +**方法论三件套**： +1. [[deep-variational-implicit-process|DVIP]] — 可扩展深度隐式过程 Bayesian 推断 +2. [[variational-linearized-laplace-approximation|VaLLA]] — 变分线性化 Laplace 后验校准 +3. [[fixed-mean-gaussian-process|FMGP]] — 冻结 DNN 均值 + GP 协方差校准 + +**理论统一**：PAC-Chernoff 界在插值区间有效 → 解释 [[double-descent|双下降]] + +# 🔗 概念网络 + +``` +Bayesian DL → Implicit Processes → DVIP + ↓ ↓ +Function-Space Modeling → VaLLA, FMGP ← Gaussian Process + ↓ +PAC-Bayesian Bounds → Generalization Bounds → Double Descent +``` + +# 📚 Wiki 集成 + +- **新增页面**：12 个（1 论文 + 10 概念 + 1 raw） +- **总规模**：902 → 913 页（+11） + +# 💡 关键洞察 + +1. **PAC-Chernoff 界在插值区间有效**是理论突破——传统界在 "训练误差 ≈ 0" 时退化，Ortega 的大偏差分析在此区间仍提供非平凡信息。 + +2. **DVIP 的三赢**：比 DGP 快 10 倍 + 非高斯先验 + 深度架构兼容——隐式过程的 "无密度" 被变分推断巧妙规避。 diff --git a/reviews/predictive-representations-mtrl-20260610.md b/reviews/predictive-representations-mtrl-20260610.md new file mode 100644 index 0000000..4c5660b --- /dev/null +++ b/reviews/predictive-representations-mtrl-20260610.md @@ -0,0 +1,43 @@ +--- +title: "Review: Predictive Representations for Scalable Multitask Deep RL" +created: 2026-06-10 +type: review +paper: "[[predictive-representations-scalable-mtrl]]" +--- + +# Review: Predictive Representations for Scalable Multitask Deep RL + +📌 **基本信息** +- 论文：Representation Learning Enables Scalable Multitask Deep RL +- 作者：Obando-Ceron, Li, Fujimoto, Bacon, Courville, Castro (Mila / McGill / Google DeepMind) +- 领域：深度RL × 多任务学习 × 表征学习 +- arXiv：2606.05555v1 [cs.LG, cs.AI], 2026-06-04 + +🎯 **核心贡献** + +1. **揭示 Scaling 瓶颈** — 纯 model-free RL 增大模型无收益甚至退化；加入预测表征后持续改善 → 表征质量是 scaling 的真正瓶颈 + +2. **MR.Q 超越 Newt** — model-free + 预测表征（无规划）在所有 10 个 MMBench 域上超越 world-model + 规划的 Newt baseline + +3. **澄清 Model-Based 的收益来源** — 规划不是必需的，好处来自预测目标学习的表征 + +🔗 **概念网络** + +``` +Predictive Representation Learning → MR.Q Algorithm + ↓ ↓ +Representation Learning in RL → Multitask RL → Deep RL Scaling + ↓ ↓ +Auxiliary Predictive Objectives World Models RL → Model-Free RL +``` + +📊 **Wiki 集成** +- 新增页面：9 个（1 论文 + 8 概念） +- 链接完整性：100% +- 总规模：719 → **728** 页 + +💡 **关键洞察** + +这篇论文的价值在于**拨开了 model-based RL 的迷雾**。Dreamer、TD-MPC2、Newt 等方法声称的好处一直被归因于"学习 world model + 规划"，但 Obando-Ceron et al. 通过精巧的消融设计表明：**规划是无关的**——真正驱动性能的是预测目标提供的密集表征学习信号。 + +这对工程实践有直接指导：与其投入计算资源做潜空间 rollout，不如把这些资源用于更好的辅助预测目标。MR.Q 的简单高效（比 Newt 更好的性能 + 更低的 wall-clock 时间）是 KISS 原则在 RL 中的胜利。 diff --git a/reviews/principled-uncertainty-clinical-ai-20260610.md b/reviews/principled-uncertainty-clinical-ai-20260610.md new file mode 100644 index 0000000..6c838b2 --- /dev/null +++ b/reviews/principled-uncertainty-clinical-ai-20260610.md @@ -0,0 +1,44 @@ +--- +title: "Review: Principled Uncertainty in Clinical AI" +created: 2026-06-10 +type: review +paper: "[[principled-uncertainty-clinical-ai]]" +--- + +# Review: Principled Uncertainty in Clinical AI + +📌 **基本信息** +- 论文：Principled Uncertainty in Clinical AI: End-to-End Bayesian Modelling and Algorithmic Equity Auditing Across Multimodal Patient Data +- 作者：Oladimeji Anthonio et al.（Centre for Algorithmic Health Equity, Ibadan） +- 领域：临床 AI × 贝叶斯深度学习 × 算法公平性 +- arXiv：2606.09789v1 [cs.CY]，2026-06-08 +- 添加时间：2026-06-10 + +🎯 **核心概念** + +1. **认知不确定性作为公平性信号** — 论文的核心论点：校准后的认知不确定性不是模型的缺陷，而是识别训练数据中代表性不足群体的**资源**。农村患者的不确定性比三级医院高 15.3%，而准确率仅差 2.9pp。 + +2. **端到端贝叶斯多模态管线** — 模态特定 VAE 编码器 → 精度加权融合 → 分解不确定性头（认知+随机），完整传播概率表示，而非事后附加。 + +3. **精度加权融合** — 利用各模态方差倒数作为权重，缺失模态自动排除（log sigma^2 = 10.0 → Lambda ≈ 0），自然处理不完整临床数据。 + +4. **UEG/UDR 公平性度量** — 不确定性公平性差距 (UEG) 和不确定性差异比 (UDR) 将不确定性转化为可操作的公平性审计工具。 + +🔗 **概念网络** + +- **核心连接**：[[epistemic-uncertainty|认知不确定性]] ↔ [[uncertainty-equity-gap|UEG]] ↔ [[algorithmic-equity|算法公平性]] ↔ [[clinical-ai|临床 AI]] +- **方法链**：[[variational-autoencoder|VAE]] → [[mc-dropout|MC Dropout]] → [[precision-weighted-fusion|精度加权融合]] → [[bayesian-deep-learning|贝叶斯深度学习]] +- **度量链**：[[expected-calibration-error|ECE]] → [[uncertainty-disparity-ratio|UDR]] → [[uncertainty-equity-gap|UEG]] +- **全新增概念**：12 个，全部通过链接完整性验证 + +📊 **Wiki 集成** + +- 新增页面：13 个（1 论文 + 12 概念） +- 链接完整性：100% 无断链 +- 总规模：694 页（587 概念 + 50 论文 + 15 文章 + 42 Review） + +💡 **关键洞察** + +这篇论文最有价值的贡献不是技术架构本身（VAE+MC Dropout+多模态融合都是已知组件），而是**视角转换**：将不确定性从"需要最小化的局限"重新定义为"需要度量并采取行动的公平性信号"。效应量层级（设施 > SES > 年龄 > 性别）精确映射结构性健康不平等——不确定性差距实质上是在"测量不可见的不公平"。 + +临床意义直接：一个能可靠地说"我对这个患者不太确定"的 AI 系统，比一个对所有患者输出相同置信度点估计的系统，更公平、更值得信赖。 diff --git a/reviews/pydantic-three-piece-review-20260610.md b/reviews/pydantic-three-piece-review-20260610.md new file mode 100644 index 0000000..3540f6f --- /dev/null +++ b/reviews/pydantic-three-piece-review-20260610.md @@ -0,0 +1,50 @@ +--- +title: "Pydantic 三件套 Review — 从校验库到 AI 基础设施" +created: 2026-06-10 +type: review +tags: [review, pydantic, agent, observability] +--- + +# Pydantic 三件套 Review — 从校验库到 AI 基础设施 + +> 微信公众号 | 2026 | 2026-06-10 集成 + +## 📌 基本信息 + +- **文章**: Pydantic 三件套：从校验库到 AI 基础设施 +- **来源**: 微信公众号 +- **领域**: Python 工具链 × Agent 工程 × 可观测性 +- **类型**: 工程实践/教程 + +## 🎯 核心概念 + +1. **pydantic-core (Rust 引擎)** — 校验性能 5-17× 提升，完全脱离 GIL，多线程并发校验 +2. **Logfire (OTel 可观测)** — 4 行代码接入，SQL 查询 trace，漂移检测在"第 32 次"就看到趋势 +3. **Pydantic AI (类型安全 Agent)** — 类型从"报错器"变"编译器"，tool schema 自动推断，全链路 trace +4. **strict/forbid/frozen 三配置** — 零成本防御，LLM 输出场景强制推荐 +5. **漂移检测** — 监控 LLM 输出结构随时间变化，在报错前看到趋势 + +## 🔗 概念网络 + +**核心连接**： +``` +pydantic-three-piece-suite ↔ pydantic ↔ {pydantic-core, logfire, pydantic-ai} +logfire ↔ {open-telemetry, drift-detection, agent-observability} +pydantic-ai ↔ {type-safety-in-agents, structured-output} +typeadapter ↔ pydantic-core +``` + +**桥接已有概念**：更新 [[agent-observability|Agent 可观测性]]，建立 ETCLOVG 框架与 Pydantic 生态的连接。 + +## 📚 Wiki 集成 + +- **新增页面**：10 个（1 文章 + 9 概念） +- **更新页面**：1 个（agent-observability） +- **链接完整性**：✅ 100% 无断链 +- **总规模**：681 → **749 页** (+10 直接新增) + +## 💡 关键洞察 + +1. **校验需求的范式转移被文章抓住了**：从"校验人填的表单（错误模式稳定）"到"校验 LLM 生成的 JSON（错误模式漂移）"——这不仅是 Pydantic 的问题，是整个 AI 工程化的核心挑战。传统的"报一次错改一次"的思维必须升级为"看趋势、提前干预"的可观测思维。 + +2. **Pydantic 生态的独特价值不在单件，在联动**：pydantic-core 提供速度、Logfire 提供可观测、Pydantic AI 提供类型约束——三件共享同一套类型定义，这意味着你在 API 层定义的校验规则，自动成为 Agent 的 tool schema 和 trace 的过滤条件。这种"定义一次，三处生效"的体验是独立工具拼凑无法提供的。 diff --git a/reviews/relu-neuromanifolds-20260610.md b/reviews/relu-neuromanifolds-20260610.md new file mode 100644 index 0000000..691be39 --- /dev/null +++ b/reviews/relu-neuromanifolds-20260610.md @@ -0,0 +1,43 @@ +--- +title: "Review: ReLU Neuromanifolds — Fibers and Semi-algebraicity" +created: 2026-06-10 +type: review +paper: "[[relu-neuromanifolds-semi-algebraicity]]" +--- + +# Review: ReLU Neuromanifolds — Fibers and Semi-algebraicity + +📌 **基本信息** +- 论文：On the fibers and semi-algebraicity of ReLU neuromanifolds +- 作者：Axel Flinth, Stefano Mereta, Michele Pernice (KTH / WASP) +- 领域：神经代数几何 × 代数几何 +- arXiv：2606.02826v1 [math.AG], 2026 + +🎯 **核心贡献** + +1. **否定性结果** — ReLU 神经流形**不是**权重空间的半代数商。这是对 [MSM+25] 研究纲领中一个开放性问题的明确回答。 + +2. **Honest 开子集** — 引入核心新概念：参数空间中无隐藏对称性的区域。三种强度（weakly honest / honest / strongly honest）提供了精细的分析语言。 + +3. **Zariski 开性** — 对于浅层网络（L=1），最大 honest 开集是 Zariski 开集——比半代数更强的结论。 + +🔗 **概念网络** + +``` +Neuromanifold ←→ Neuroalgebraic Geometry ←→ Semi-algebraic Set + ↓ ↓ +Parametrization Map → Fiber of Parametrization → Honest Open Subset + ↓ ↓ ↓ +Scaling & Permutation → Hidden Symmetries ←→ Identifiability +``` + +📊 **Wiki 集成** +- 新增页面：9 个（1 论文 + 8 概念） +- 链接完整性：100% +- 总规模：709 → **718** 页 + +💡 **关键洞察** + +这篇论文是 **neuroalgebraic geometry 纲领从多项式到 ReLU 的突破**。核心否定结果（M_d 不是半代数商）澄清了神经流形的理论边界——我们不能期望一个"好"的半代数结构。但作者提供了建设性的替代方案：pro-半代数结构（有限维逼近的极限）和 honest 开子集（可识别性成立的区域）。 + +猜想 2（最大 honest 开集总是半代数）如果成立，将建立一个漂亮的对偶：神经流形整体结构复杂（非半代数商），但其"好"区域（无隐藏对称性）有可处理的几何结构。 diff --git a/reviews/repmt-sac-review-20260617.md b/reviews/repmt-sac-review-20260617.md new file mode 100644 index 0000000..612197c --- /dev/null +++ b/reviews/repmt-sac-review-20260617.md @@ -0,0 +1,45 @@ +--- +title: "RepMT-SAC 论文集成 Review" +created: 2026-06-17 +type: review +--- + +# 📌 基本信息 + +- **论文**：Learning to Adapt: Representation-Based RL for Multi-Task Skill Transfer +- **作者**：Aryan Naveen (MIT), Haitong Ma, Haldun Balim, Na Li — Harvard SEAS +- **领域**：cs.RO / Multi-Task RL +- **arXiv**：2606.12890v1 (2026-06-11) + +# 🎯 核心概念 + +1. **[[spectral-mdp-decomposition|谱 MDP 分解]]** — Q(s,a;τ) = ⟨φ(s,a), w(τ)⟩，φ 任务不变，w 任务特定 +2. **[[task-invariant-representation|任务不变表征]]** — 对比式条件密度估计学习共享动力学 +3. **[[rep-mt-sac|RepMT-SAC]]** — 两阶段 SAC：上游学 φ，下游冻 φ 微调 w +4. **[[quadrotor-trajectory-following|四旋翼轨迹跟踪]]** — Legendre 多项式参数化的物理验证 + +# 🔗 概念网络 + +``` +Spectral MDP Decomposition → Task-Invariant Repr (φ) + ↓ ↓ +Task Distribution (µ) → RepMT-SAC ← Soft Actor-Critic + ↓ ↓ +Task-Conditioned Policy → Upstream-Downstream Learning + ↓ +Quadrotor Trajectory Following +``` + +**关联已有知识**：通过 [[multitask-rl]] 和 [[few-shot-learning]] 与已有 wiki 概念连接。 + +# 📚 Wiki 集成 + +- **新增页面**：10 个（1 论文 + 8 概念 + 1 raw） +- **总规模**：892 → 901 页（+9） +- 新覆盖：cs.RO / 机器人控制 + +# 💡 关键洞察 + +1. **φ 冻结后 Q 学习变成线性回归**是 RepMT-SAC 最优雅的工程特性——下游适应极快且极稳定，避免了深层 RL 在新任务上常见的训练不稳定。 + +2. **谱分解的推广是 subtle 但重要的**：将 w 从"固定向量"提升为"任务的显式函数" w(τ)，使表示真正多任务化而不只是多任务共享参数。 diff --git a/reviews/skills-to-genes-review-20260614.md b/reviews/skills-to-genes-review-20260614.md new file mode 100644 index 0000000..81ef9ee --- /dev/null +++ b/reviews/skills-to-genes-review-20260614.md @@ -0,0 +1,59 @@ +--- +title: "Skills to Strategy Genes — Review 报告" +created: 2026-06-14 +updated: 2026-06-14 +type: review +tags: [review, agent, experience-reuse, representation] +sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md] +--- + +# 📌 基本信息 + +- **论文标题:** From Procedural Skills to Strategy Genes: Towards Experience-Driven Test-Time Evolution +- **作者:** Junjie Wang, Yiming Ren, Haoyang Zhang (清华大学, EvoMap) +- **领域:** cs.SE, cs.CL +- **arXiv ID:** 2604.15097v2 +- **添加时间:** 2026-06-14 +- **代码:** [skill2gep](https://github.com/EvoMap/skill2gep), [evolver](https://github.com/EvoMap/evolver) + +# 🎯 核心概念 + +1. **[[strategy-gene|策略基因]]** — 紧凑(~230 tokens)的控制导向经验表示，不是技能的缩短版，而是对经验的不同抽象 +2. **[[procedural-skill|过程技能]]** — 文档导向(~2,500 tokens)的经验包，为人类阅读和审查而优化 +3. **[[gene-evolution-protocol|GEP 协议]]** — 将基因规范化为结构化可进化对象的协议层，定义 Gene/Capsule/Event 三层 +4. **[[test-time-control|测试时控制]]** — 外部化表示在不修改模型参数下影响推理时行为 +5. **[[experience-representation|经验表示]]** — 形式化框架：r = phi(H)，区分文档导向 vs 控制导向表示 +6. **[[skill-probe|技能探针]]** — 系统性分析技能控制价值的稀疏性：仅 Workflow(+1.5pp) 正面，Overview(-4.7pp) 强烈有害 +7. **[[gene-probe|基因探针]]** — Gene 优势不来自 token 预算，来自策略层组织；结构鲁棒但内容敏感 +8. **[[evolution-probe|进化探针]]** — Gene 作为进化载体优越：结构化 > 展平散文，失败警告 > 混合策略-失败 +9. **[[experience-distillation|经验蒸馏]]** — 选择性压缩而非加性积累：AVOID 项信号密度最高 +10. **[[bounded-reuse|有界复用]]** — 互补 Gene 组合比冲突组合更有害(-6.1pp)，复用有范围边界 +11. **[[gene-bench|Gene-Bench]]** — 45 场景科学代码求解基准，4,590 次试验 +12. **[[critpt|CritPt]]** — 外部物理学推理基准，gene-evolved 系统 +9.44pp + +# 🔗 概念网络 + +- **核心三角:** [[strategy-gene]] ↔ [[procedural-skill]] ↔ [[experience-representation]] — 论文的核心对比轴 +- **探针三角:** [[skill-probe]] → [[gene-probe]] → [[evolution-probe]] — 三层递进分析 +- **协议层:** [[strategy-gene]] → [[gene-evolution-protocol]] — Gene 通过 GEP 成为可进化对象 +- **实证层:** [[gene-bench]] + [[critpt]] — 内部消融 + 外部验证 +- **复用原则:** [[experience-distillation]] + [[bounded-reuse]] — 如何积累 + 积累边界 +- **扩展连接:** 连接了 12 个相关概念，与 [[test-time-control]] 和 [[experience-distillation]] 形成强链接 + +# 📚 Wiki 集成 + +- **新增页面:** 14 个（1 论文 + 12 概念 + 1 raw 存档） +- **链接密度:** 核心概念平均 4-5 个双向链接 +- **网络贡献:** 为 agent experience-reuse 子领域添加了系统性的表示对比分析 + +# 💡 关键洞察 + +**表示是一阶因素。** 这篇论文最强的论点是：在经验内容大致相同的情况下，**如何表示经验**是影响控制效果的决定性变量——不是经验量，不是经验质，而是经验的形式。这对整个 agent memory/skill 领域有深远的范式意义：我们可能一直在优化错误的东西。 + +**"更多 ≠ 更好"的证据链异常扎实。** 三个探针从不同角度证实： +- Skill 扩展为完整文档 → 退化 +- 向 Gene 添加 API notes/examples → 退化 +- 多个互补 Gene 组合 → 崩溃(-6.1pp) +- 朴素追加失败历史 → 稀释 + +这一系列收敛的证据使得"选择性压缩 > 加性积累"的结论具有很强的说服力。对实际系统设计的启示：经验管理系统的核心功能应该是**蒸馏和选择**，而非存储和检索。 diff --git a/reviews/stem-causal-sparse-attention-review-20260605.md b/reviews/stem-causal-sparse-attention-review-20260605.md new file mode 100644 index 0000000..6954ea6 --- /dev/null +++ b/reviews/stem-causal-sparse-attention-review-20260605.md @@ -0,0 +1,37 @@ +--- +title: "Stem: Rethinking Causal Information Flow in Sparse Attention — Review" +created: 2026-06-05 +type: review +sources: [[niu-stem-causal-sparse-attention]] +--- + +# 📌 基本信息 + +- **论文**: Stem: Rethinking Causal Information Flow in Sparse Attention +- **作者**: Lin Niu\*, Xin Luo\* et al. (Tencent / USTC) +- **arXiv**: [2603.06274](https://arxiv.org/abs/2603.06274) (March 2026) +- **实现**: Triton-based Block Sparse Attention kernel (开源) + +# 🎯 核心概念 + +1. **[[causal-information-flow|因果信息流]]** — 揭示了稀疏注意力方法的根本盲区：V₁ 参与所有输出，V_N 仅参与最后一个；均匀 top-k 无视这一结构 +2. **[[token-position-decay|TPD]]** — 位置依赖的稀疏预算：茎 token 高保留率保护递归依赖链，叶 token 激进稀疏化 +3. **[[output-aware-metric|OAM]]** — 超越纯注意力分数的 token 选择：引入 Value 幅度信息，选择真正高贡献的 token +4. **[[stem-sparse-attention|Stem 框架]]** — TPD + OAM 双组件，training-free，即插即用，可叠加到训练型稀疏模型上 + +# 🔗 概念网络 + +- **核心连接**: [[stem-sparse-attention]] ↔ [[causal-information-flow]] ↔ [[token-position-decay]] ↔ [[output-aware-metric]] +- **已有网络连接**: 与 [[sparse-attention-patterns]]、[[block-sparse-attention]]、[[native-sparse-attention]]、[[compressed-sparse-attention]] 形成图谱 +- **经济视角桥梁**: 位置衰减本质上是"按 token 位置差异化定价计算资源"——与 [[token-economics|Token Economics]] 的要素替代理论暗合 + +# 📚 Wiki 集成 + +- **新增页面**: 6 个（1 raw + 1 论文 + 4 概念） +- **总规模**: 630 → 635 页 (+5) + +# 💡 关键洞察 + +**"Stem"这个名字精妙**——它将因果 Transformer 的 token 序列类比为植物结构：茎（stem）承载养分向上输送，叶（leaf）仅在末端局部作用。一旦茎被剪断，整株枯萎；剪一片叶子则只伤局部。这个生物学隐喻精确对应了数学上的递归误差传播：剪枝 V₁ 触发指数级放大的全局失真。这不仅是优雅的类比，更是可严格推导的结构约束。 + +**训练型 vs 非训练型的关系翻转**：通常 training-free 方法被视为训练型方法的"降级替代"。但 Stem 反其道而行——它还可以**叠加**到训练型稀疏模型（DeepSeek-V3.2、MiniCPM-4.1）上进一步压缩。这意味着 Stem 的贡献不是"取代训练型"，而是提供了一个**正交的压缩维度**——信息流结构对齐——这是训练型方法没有优化的维度。 diff --git a/reviews/tarpo-review-20260617.md b/reviews/tarpo-review-20260617.md new file mode 100644 index 0000000..aac8f8a --- /dev/null +++ b/reviews/tarpo-review-20260617.md @@ -0,0 +1,48 @@ +--- +title: "TARPO 论文集成 Review" +created: 2026-06-17 +type: review +--- + +# 📌 基本信息 + +- **论文**：TARPO: Token-Wise Latent-Explicit Reasoning via Action-Routing Policy Optimization +- **作者**：Liting Zhang, Shiwan Zhao, Xuyang Zhao, Zichen Xu, Jianye Wang, Qicheng Li — 南开大学 TMCC +- **领域**：cs.CL / LLM Reasoning / RL +- **arXiv**：2606.05859v1 (2026-06-04) +- **代码**：https://github.com/NKU-LITI/TARPO-master + +# 🎯 核心概念 + +1. **[[latent-reasoning|潜在推理]]** — 将推理过程从离散 token 空间转移到连续表征空间，克服 CoT 的信息瓶颈 +2. **[[action-routing-policy|动作路由策略]]** — 将推理模式选择（hard/soft）形式化为二元离散 RL 策略 +3. **[[action-head-router|动作头路由器]]** — 仅 2d+2 参数的轻量级路由决策模块 +4. **[[token-wise-routing|逐 token 路由]]** — 每步独立决定推理模式，细粒度自适应切换 +5. **[[soft-token]] / [[hard-token]]** — 连续加权 embedding vs 离散 token 生成的两种推理单元 +6. **[[hybrid-reasoning|混合推理]]** — 密集融合 vs 模式切换两条技术路线的系统对比 + +# 🔗 概念网络 + +**核心连接**：TARPO → latent-reasoning → continuous-representation → soft-token / hard-token → token-wise-routing → action-routing-policy → action-head-router → GRPO → HRPO → COCONUT + +**扩展网络**： +- 方法对比链：COCONUT（纯潜在）→ HRPO（密集融合）→ TARPO（二值切换） +- 探索路线：reparameterization-exploration（表征级）↔ gumbel-softmax（梯度估计） +- 关联已有概念：[[chain-of-thought]]、[[grpo]]、[[group-relative-policy-optimization]]、[[reinforcement-learning]] + +**新增概念**：12 个（均为全新，此前 wiki 未覆盖 latent reasoning 这一子领域） + +# 📚 Wiki 集成 + +- **新增页面**：14 个（1 论文 + 12 概念 + 1 raw 存档） +- **链接密度**：核心概念平均 6-8 个交叉引用 +- **网络完整**：待验证 +- **总规模**：826 → 839 页（+13，review 不计入） + +# 💡 关键洞察 + +1. **结构探索 > 表征探索**：TARPO 的核心洞察是，与其在连续表征内部注入噪声（重参数化路线），不如在推理模式选择层面引入随机性——这更直接地保留了离散 token 采样的天然探索能力 + +2. **最小侵入性设计**：动作头仅 2d+2 参数，不改动 Transformer 架构——这种"附加而非修改"的设计理念是可推广的模式，适用于其他需要在标准架构上增强决策能力的场景 + +3. **完整的方法谱系**：本次集成一次性构建了 latent reasoning 领域的完整概念网络——从 COCONUT（起点）到 HRPO（密集融合）到 TARPO（二值切换），以及重参数化的平行路线——为后续该方向的论文集成奠定了密集的链接基础 diff --git a/reviews/ticks-to-flows-review-20260617.md b/reviews/ticks-to-flows-review-20260617.md new file mode 100644 index 0000000..805ed69 --- /dev/null +++ b/reviews/ticks-to-flows-review-20260617.md @@ -0,0 +1,65 @@ +--- +title: "Ticks-to-Flows 论文集成 Review" +created: 2026-06-17 +type: review +--- + +# 📌 基本信息 + +- **论文**：From Ticks to Flows: Dynamics of Neural Reinforcement Learning in Continuous Environments +- **作者**：Saket Tiwari, Tejas Kotwal, George Konidaris — Brown University +- **发表**：ICLR 2026 +- **领域**：cs.LG / RL Theory / Stochastic Control +- **arXiv**：2606.04275v1 (2026-06-02) + +# 🎯 核心概念 + +1. **[[continuous-time-rl|连续时间 RL]]** — 将 RL 建模为连续时间 SDE，与离散 ticks 范式相对 +2. **[[stochastic-differential-equation|SDE]]** — 数学骨架，漂移项 + 扩散项 = 连续动态 +3. **[[two-time-scale-process|双时间尺度过程]]** — 环境时间（t）+ 梯度时间（τ），标题 "Ticks to Flows" 的来源 +4. **[[exploratory-dynamics|探索动力学]]** — 策略噪声 + 环境噪声的 SDE 模型，优于传统加性噪声 +5. **[[linearized-neural-network|线性化 NN]] / [[neural-tangent-kernel|NTK]] / [[infinite-width-limit|无限宽度极限]]** — 使 NN 分析可行的理论"三件套" +6. **[[martingale-clt|鞅 CLT]]** — 证明梯度更新服从条件高斯分布的核心工具 + +# 🔗 概念网络 + +**核心连接**： +``` +SDE ← Wiener Process ← Itô Calculus + ↓ +Control-Affine MDP → Continuous-Time RL ← Exploratory Dynamics + ↓ ↓ + Two Time-Scale Process ←────────── LQR (验证) + ↓ +Infinite-Width Limit → NTK → Linearized NN → Martingale CLT + ↓ + Theorem 6.1: 5-variable closed system +``` + +**与前次 TARPO 集成的关联**： +- [[ticks-to-flows]] 提供 RL 的**连续时间理论视角**（从下往上） +- [[tarpo|TARPO]] 提供 RL 的**离散时间算法视角**（从上往下） +- 两者共享 [[reinforcement-learning|强化学习]]、actor-critic、策略梯度等基础概念 +- 前者侧重数学严格性（SDE/鞅），后者侧重工程有效性（路由/混合推理） + +**概念类型覆盖**： +- 随机分析三件套：SDE + Wiener + Itô（全新数学基础概念） +- 深度学习理论三件套：NTK + 线性化 NN + 无限宽度（全新理论概念） +- 控制理论：LQR + 控制仿射 MDP（全新应用概念） + +# 📚 Wiki 集成 + +- **新增页面**：14 个（1 论文 + 12 概念 + 1 raw 存档） +- **链接密度**：核心概念平均 5-7 个交叉引用 +- **网络完整**：待验证 +- **总规模**：841 → 854 页（+13，review 不计入） +- **全新数学子领域**：随机分析（SDE/Itô/Wiener/鞅 CLT）——此前 wiki 未覆盖 +- **与现有知识关联**：通过与 [[reinforcement-learning]]、[[neural-tangent-kernel|NTK]]、[[linear-quadratic-regulator|LQR]] 等已有页面形成桥梁 + +# 💡 关键洞察 + +1. **双时间尺度是最优雅的理论贡献**：RL 难分析的根源是"数据分布随梯度变化"——双时间尺度公式化将这个问题转化为两个耦合 SDE 的分析，t 快 τ 慢，结构上类似于随机近似中的 two-time-scale SA + +2. **NTK 作为 RL 理论的桥梁**：监督学习理论中发达的 NTK 框架被首次系统地移植到 RL 中——Itô-Taylor 展开将状态表示为参数多项式，NTK 提供局部几何，鞅 CLT 给出极限分布——三者结合构成了完整的分析链条 + +3. **封闭系统的美学**：Theorem 6.1 的结论是"仅 5 个变量"——在高度非线性、无限维的 NN 空间中，学习动态降维到仅 5 个耦合方程。这是理论物理学家追求的那种优雅降维 diff --git a/reviews/token-economics-review-20260605.md b/reviews/token-economics-review-20260605.md new file mode 100644 index 0000000..ffe8ac4 --- /dev/null +++ b/reviews/token-economics-review-20260605.md @@ -0,0 +1,42 @@ +--- +title: "Token Economics for LLM Agents — Review" +created: 2026-06-05 +type: review +sources: [[chen-token-economics-llm-agents]] +--- + +# 📌 基本信息 + +- **论文**: Token Economics for LLM Agents: A Dual-View Study from Computing and Economics +- **作者**: Yuxi Chen\*, Junming Chen\* et al. (Zhejiang University CS + Economics, Alibaba Cloud) +- **arXiv**: [2605.09104](https://arxiv.org/abs/2605.09104) (May 2026) +- **类型**: Survey（59页，170+ 参考文献） +- **GitHub**: [SuDIS-ZJU/Token-Economics](https://github.com/SuDIS-ZJU/Token-Economics) + +# 🎯 核心概念 + +1. **[[token-economics|Token Economics]]** — 首次系统性将经济学理论引入 Token 研究，四维分类法（Micro/Meso/Macro/Security） +2. **[[token-as-economic-primitive|Token 作为经济原语]]** — Token 的三重角色：生产要素、交换媒介、计价单位——类比 kWh→GB→Token 的历史演进 +3. **[[micro-level-token-economics|微观 Token 经济学]]** — 单 Agent 预算约束下的五维要素替代（推理/计算/记忆/工具/框架） +4. **[[meso-level-token-economics|中观 Token 经济学]]** — 多 Agent 协作摩擦：通信 token、编排 token、记忆共享 token 的联合优化 +5. **[[macro-level-token-economics|宏观 Token 经济学]]** — 生态层面：拥堵外部性、生产者寡头竞争、监管政策 +6. **[[token-security-economics|Token 安全经济学]]** — 对抗威胁作为内生经济约束——安全不是免费的，需要 token 预算 +7. **[[differentiable-token-budgeting|可微分 Token 预算]]** + **[[token-market-dynamics|Token 市场动态]]** — 两大前沿方向 + +# 🔗 概念网络 + +- **核心连接**: [[token-economics]] ↔ [[token-as-economic-primitive]] ↔ [[agent-token-budget-optimization]] +- **四层联动**: [[micro-level-token-economics]] ↔ [[meso-level-token-economics]] ↔ [[macro-level-token-economics]] ↔ [[token-security-economics]] +- **已有网络连接**: 与 [[token-efficiency]]、[[cost-quality-speed-trilemma]]、[[token-superposition-training]]、[[token-duplication]]、[[agent-harness-safety]]、[[multi-agent-safety]] 形成交叉引用 +- **前沿方向**: [[differentiable-token-budgeting]] ↔ [[token-market-dynamics]] + +# 📚 Wiki 集成 + +- **新增页面**: 11 个（1 raw + 1 论文 + 9 概念） +- **总规模**: 619 → 629 页 (+10) + +# 💡 关键洞察 + +**"Token 是智能时代的 kWh"**——这个类比精炼而有力。正如工业时代的经济学围绕能源的分配和定价展开，智能时代的经济学将围绕 Token 的生产、分配和消费展开。这篇综述的核心贡献不是新技术，而是**提供了一个思考框架**，让人们能系统性地问正确的问题：不是"如何让 Agent 更强"，而是"在给定 Token 预算下，Agent 如何做出最优要素组合决策"。 + +**安全不是可选项，是成本项**——Security 层的经济视角特别重要。将安全防御的 Token 开销视为保险保费（确定性成本换取降低灾难性损失的概率），为安全预算提供了经济学正当性。这在 [[agent-harness-safety|Agent 骨架安全]] 和 [[token-security-economics|Token 安全经济学]] 之间建立了桥梁。 diff --git a/reviews/weighted-uat-review-20260617.md b/reviews/weighted-uat-review-20260617.md new file mode 100644 index 0000000..a5163f1 --- /dev/null +++ b/reviews/weighted-uat-review-20260617.md @@ -0,0 +1,45 @@ +--- +title: "Weighted UAT 论文集成 Review" +created: 2026-06-17 +type: review +--- + +# 📌 基本信息 + +- **论文**：Weighted Universal Approximation of Differentiable Maps on Infinite-Dimensional Manifolds +- **作者**：Philipp Schmocker, Josef Teichmann +- **领域**：math.FA (cs.LG, math.PR, q-fin.MF, stat.ML) +- **arXiv**：2606.09820v1 (2026-06-08) | 77页 + +# 🎯 核心概念 + +1. **[[functional-input-neural-networks|FNN]]** — 无限维输入 → 标量激活 → Banach 输出的神经网络 +2. **[[universal-approximation-theorem|UAT]]** — 同时逼近函数值和方向导数 +3. **[[nachbin-theorem|Nachbin 定理]]** — 带导数的 Stone-Weierstrass，论文的核心理论贡献 +4. **[[signature|Signature]]** — 路径空间上的多项式基，线性函数可逼近任意路径泛函含导数 + +# 🔗 概念网络 + +``` +Weighted Spaces ← Nachbin Theorem → Bastiani Calculus + ↓ ↓ ↓ +Functional Input NN → Weighted UAT → Infinite-Dimensional Manifolds + ↓ +Non-Anticipative Functionals → Signature → Rough Path Theory +``` + +**关联已有知识**：通过 [[stochastic-differential-equation|SDE]] 和 Wiener 过程与 Ticks-to-Flows 论文的随机分析概念形成桥梁。 + +# 📚 Wiki 集成 + +- **新增页面**：10 个（1 论文 + 8 概念 + 1 raw） +- **总规模**：880 → 889 页（+9） +- **全新数学领域**：逼近理论（approximation theory）+ 粗糙路径（rough paths）→ 此前 wiki 零覆盖 + +# 💡 关键洞察 + +1. **这是最高维度的论文集成**：77 页的 math.FA 核心论文，证明链从 Tauberian 定理 → Nachbin 定理 → FNN UAT → Signature UAT → 非预期泛函 UAT。每一步都是严格的函数分析。 + +2. **"加权"是连接理论与应用的关键**：不限制在紧集上使得理论可应用于 SDE 和随机过程——这些对象天然产生非紧路径。加权分析是纯数学到应用的桥梁。 + +3. **Signature UAT 是优雅的推论**：签名的线性函数逼近路径泛函——这一结果本身就是已知的，但论文首次包括了方向导数的逼近，这对路径空间上的梯度基方法至关重要。 diff --git a/reviews/xu-why-steering-works-review-20260601.md b/reviews/xu-why-steering-works-review-20260601.md new file mode 100644 index 0000000..c96e210 --- /dev/null +++ b/reviews/xu-why-steering-works-review-20260601.md @@ -0,0 +1,62 @@ +--- +title: "Review: Why Steering Works — 参数动态统一视角" +created: 2026-06-01 +updated: 2026-06-01 +type: review +tags: [review, steering, interpretability, controllability] +sources: [raw/papers/xu-why-steering-works-2026.md] +--- + +# 📌 基本信息 + +- **论文标题**：Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics +- **作者**：Ziwen Xu, Chenyan Wu, Hengyu Sun, Haiwen Hong, Mengru Wang, Yunzhi Yao, Longtao Huang, Hui Xue, Shumin Deng, Zhixuan Chu, Huajun Chen, Ningyu Zhang +- **机构**：浙江大学 + 阿里巴巴 +- **arXiv**：2602.02343 (v3, 2026-04-12) +- **代码**：github.com/zjunlp/EasyEdit/blob/main/examples/SPLIT.md +- **添加时间**：2026-06-01 +- **领域**：LLM 可控性 / 可解释性 / 表示几何 + +# 🎯 核心概念 + +1. **[[dynamic-weight-updates]]** — 统一的动态权重更新公式，将 Local Weight、LoRA、Steering Vector 纳入同一仿射框架 +2. **[[preference-utility-analysis]]** — 将控制效果解耦为偏好（目标概念对齐）和效用（任务连贯性），在共享 log-odds 尺度上测量 +3. **[[activation-manifold]]** — 训练引起的低维激活流形假说：效用退化源于偏离流形导致的有效性衰减 +4. **[[steering-dynamics]]** — 所有干预形式呈现统一的三阶段偏好动态：线性区 → 过渡区 → 收敛区 +5. **[[split-steering]]** — SPLIT 联合优化方法，显式优化偏好同时保留效用 + +# 🔗 概念网络 + +**核心连接**： +``` +dynamic-weight-updates → preference-utility-analysis → activation-manifold + ↓ ↓ ↓ + intervention-multiplier preference-log-odds validity-decay + ↓ ↓ + steering-dynamics ← ← ← ← ← ← ← ← ← ← ← ← ← representation-validity + ↓ + split-steering → 优化 preference + utility 的折衷 +``` + +**扩展网络**： +- 连接了 [[lora]]、[[activation-steering]]、[[linear-representation-hypothesis]] 三个基础概念 +- 新建了 [[steering-vector]]、[[model-steering]]、[[controlled-text-generation]]、[[representation-space]] 四个占位符 +- 论文页面实现了 15 个 wikilink 的密集交叉引用 + +# 📚 Wiki 集成 + +- **新增页面**：18 个（1 论文 + 16 概念 + 1 Review） +- **论文页面**：[[xu-why-steering-works]] — Why Steering Works — 语言模型参数动态的统一视角 +- **链接密度**：论文页面 11 个出链，核心概念页面平均 4-6 个出链 +- **总规模**：528 → 546 页 + +# 💡 关键洞察 + +**1. "一切干预皆权重更新"** +这篇论文的核心贡献在于**统一视角的力量**。传统上，权重微调、LoRA 和激活导向被视为不同范式，但统一公式 $h_{i+1} = (W + m_1\Delta W)h_i + (b + m_2\Delta b)$ 揭示了它们的本质一致——仅在 ΔW 和 Δb 的更新方式上不同。这种统一性不仅是数学上的优雅重组，更催生了统一的动态分析。 + +**2. 激活流形假说——从经验现象到几何可预测** +最深刻的洞察是效用退化的机制解释：导向并非"破坏模型"，而是将激活**推出训练形成的流形**。这解释了为什么小 m 线性有效、为什么效用总在 m≈0 处最优。RQ 衰减模型将抽象的几何直觉转化为可拟合的定量形式（R² > 0.95）——这是可解释性工作中少见的高质量理论-实验对接。 + +**3. 对 AI 安全与控制的影响** +这篇论文与 wiki 中已有的 [[hyperagents]]、[[clawless-ai-agent-security]]、[[skillopt]] 形成互补：安全性工程常需"控制模型行为"，而本文提供了理解控制效果与代价的**定量语言**。SPLIT 优化目标可直接融入安全导向的训练管线。 diff --git a/reviews/zhang-sft-interaction-review-20260603.md b/reviews/zhang-sft-interaction-review-20260603.md new file mode 100644 index 0000000..28e8012 --- /dev/null +++ b/reviews/zhang-sft-interaction-review-20260603.md @@ -0,0 +1,91 @@ +--- +title: "Review: Reconciling Contradictory Views on SFT in LLMs — 交互视角" +created: 2026-06-03 +updated: 2026-06-03 +type: review +paper: "[[zhang-reconciling-sft-interaction-2026]]" +--- + +# 📌 基本信息 + +- **论文标题**：Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective +- **作者**：Junpeng Zhang, Lei Cheng, Guoxi Zhang, Hua Cai, Qing Xu, Quanshi Zhang +- **机构**：上海交通大学、北京通用人工智能研究院（BIGAI）、UniDT +- **arXiv ID**：2605.17967 | **领域**：cs.AI | **时间**：2026-05-18 +- **添加时间**：2026-06-03 + +# 🎯 核心概念 + +| # | 概念 | 定义 | +|---|------|------| +| 1 | [[interaction-based-explanation\|交互基解释]] | 将 DNN 推理逻辑分解为 AND-OR 交互原语的可解释性框架 | +| 2 | [[and-or-interactions\|AND-OR 交互]] | 两种基本交互类型：AND（全变量同时存在激活）和 OR（任一变量存在激活） | +| 3 | [[interaction-types-sft\|三类交互]] | Removed（被消除的噪声）、Preserved（保留的推理骨架）、Newly Emerged（新涌现） | +| 4 | [[sft-denoising-stage\|SFT 去噪阶段]] | SFT 呈现两阶段动力学：极短去噪阶段（~1000步）→ 漫长的过拟合阶段 | +| 5 | [[interaction-generalizability\|交互泛化性]] | γ 指标衡量交互是否跨不同架构 LLM 一致存在 | +| 6 | [[uncancelled-interaction-effects\|未抵消交互效应]] | ρ 指标衡量交互正负效应抵消后剩余的有效贡献 | +| 7 | [[interaction-order\|交互阶数]] | 交互涉及的输入变量数量——低阶更可靠，高阶多为噪声 | +| 8 | [[logical-model-interaction\|交互逻辑模型]] | 由 AND-OR 交互构建的可解释模型，能以高保真度逼近 LLM 输出 | +| 9 | [[sft-early-stopping\|SFT 早停策略]] | 基于交互演变的早停：当去噪阶段结束（交互移除趋于饱和）时即停止 | +| 10 | [[preserved-interactions-backbone\|保留交互作为推理支柱]] | 验证了保留交互构成 LLM 推理的核心骨架——大部分预测效应来自这个小子集 | + +# 🔗 概念网络 + +**核心连接**： +``` +interaction-based-explanation + ↙ ↘ +and-or-interactions logical-model-interaction + ↓ ↓ +interaction-types-sft ←── interaction-order + ↓ +sft-denoising-stage ⟷ interaction-generalizability ⟷ uncancelled-interaction-effects + ↓ +preserved-interactions-backbone ⟶ sft-early-stopping ⟶ supervised-fine-tuning +``` + +**扩展网络**：连接了 6 个已有概念（lora, rlhf, dpo, shapley-values, catastrophic-forgetting, in-context-learning），均为新创建的占位符页面 + +**修复断链**：0 个断链 + +# 📚 Wiki 集成 + +- **新增页面**：18 个（1 论文 + 10 核心概念 + 6 占位符概念 + 1 Review） +- **链接密度**：核心概念平均 5.2 个出链 +- **网络完整**：100% 无断链 +- **总规模**：从 562 → 584 页（+22 页，+3.9%） + +# 💡 关键洞察 + +### 洞察 1：SFT 的本质是"去噪"而非"教学" + +这篇论文最大的贡献是**颠覆了对 SFT 的根本认知**。传统观点认为 SFT 是在 LLM 中"注入新能力"——教它遵循指令、适应特定领域。但交互视角揭示了一个截然不同的画面： + +- SFT 的**有效窗口极窄**（~1000 步以内） +- 在此窗口内，LLM 主要在做一件事：**清除预训练中的噪声交互** +- 几乎不学习真正可靠的新交互 + +这意味着：**LLM 在预训练阶段就已经具备了推理所需的核心交互模式**。SFT 的角色不是"教师"，而是"清洁工"——扫除噪声，让已有的推理骨架显现出来。 + +### 洞察 2："保留交互作为推理支柱"对 AI 能力来源的重新审视 + +作者验证了保留的少量低阶交互就足以支撑目标 token 预测——仅用保留交互计算时测试损失最低。这与 "scaling law" 叙事形成有趣的张力： + +- 如果推理骨架在预训练中已存在，那么"后训练阶段的能力涌现"可能更多是**噪声清除效应**而非真正的"能力习得" +- 大量训练样本/步数可能主要引入过拟合，而非提升能力 + +这为 [[sft-early-stopping|SFT 早停]] 提供了原则性理论基础，也挑战了"更大规模微调必然更好"的信念。 + +### 方法论贡献：交互作为 LLM 训练的"显微镜" + +交互框架为 LLM 训练提供了一种前所未有的细粒度诊断工具。传统监控手段（验证损失、准确率）是粗粒度的代理信号——而交互演变可以直接追踪推理模式的结构性变化。这种"从行为监控到结构监控"的转变是方法论上的重要贡献。 + +# 📎 文件清单 + +| 文件 | 路径 | +|------|------| +| 原始存档 | `raw/papers/zhang-reconciling-sft-interaction-2026.md` | +| 论文主页面 | `papers/zhang-reconciling-sft-interaction-2026.md` | +| 核心概念 (×10) | `concepts/interaction-*.md`, `concepts/sft-*.md`, 等 | +| 占位符 (×6) | `concepts/supervised-fine-tuning.md`, `concepts/rlhf.md`, 等 | +| 本 Review | `reviews/zhang-sft-interaction-review-20260603.md` |