20260518-morning:新增内容
This commit is contained in:
87
reviews/ctm-review-20260515.md
Normal file
87
reviews/ctm-review-20260515.md
Normal file
@@ -0,0 +1,87 @@
|
||||
---
|
||||
title: "Continuous Thought Machines 论文集成 Review"
|
||||
created: 2026-05-15
|
||||
type: review
|
||||
tags: [review, wiki-integration, neural-architecture, temporal-dynamics]
|
||||
---
|
||||
|
||||
# 📌 基本信息
|
||||
|
||||
| 字段 | 内容 |
|
||||
|------|------|
|
||||
| 论文 | Continuous Thought Machines (CTM) |
|
||||
| 作者 | Luke Darlow, Ciaran Regan, Sebastian Risi, Jeffrey Seely, **Llion Jones** |
|
||||
| 机构 | Sakana AI (Tokyo), University of Tsukuba, IT University of Copenhagen |
|
||||
| arXiv | 2505.05522v4 |
|
||||
| 类别 | cs.LG |
|
||||
| 会议 | NeurIPS 2025 |
|
||||
| 集成日期 | 2026-05-15 |
|
||||
|
||||
> Llion Jones 是 "Attention Is All You Need" 的合著者之一。
|
||||
|
||||
# 🎯 核心概念
|
||||
|
||||
1. **[[neuron-level-models|Neuron-Level Models (NLMs)]]** — 颠覆「所有神经元共享同一激活函数」的范式，每个神经元拥有私有参数 MLP，从其激活历史中产生复杂时序动态
|
||||
|
||||
2. **[[neural-synchronization|Neural Synchronization as Representation]]** — 将神经元群体活动历史的时序相关性（内积）直接用作潜在表示，取代传统的单步激活快照
|
||||
|
||||
3. **[[internal-ticks|Internal Ticks]]** — 与数据维度完全解耦的内部时序，CTM 沿自生成的「思考步骤」展开神经动力学
|
||||
|
||||
4. **[[certainty-based-loss|Certainty-Based Loss]]** — 动态选择 argmin(loss) + argmax(certainty) 两个 tick，实现**原生自适应计算**（无需 halting 模块）
|
||||
|
||||
5. **[[continuous-thought-machine|CTM 架构]]** — Synapse Model → NLMs → Synchronization → Cross-Attention 的循环管线
|
||||
|
||||
# 🔗 概念网络
|
||||
|
||||
## 核心连接
|
||||
|
||||
```
|
||||
CTM
|
||||
├── 创新 1: Neuron-Level Models
|
||||
│ ├── Pre-Activation History (M-step rolling buffer)
|
||||
│ └── 每个神经元私有 MLP g_{θ_d}
|
||||
├── 创新 2: Neural Synchronization
|
||||
│ ├── S^t = Z^t · (Z^t)^⊺ (inner product of histories)
|
||||
│ ├── Neuron Pairing (subsampling for efficiency)
|
||||
│ └── Temporal Decay r_ij (multi-scale)
|
||||
├── Infrastructure
|
||||
│ ├── Internal Ticks (decoupled timeline)
|
||||
│ └── Synapse Model (U-Net MLP)
|
||||
└── Training
|
||||
└── Certainty-Based Loss → 原生 Adaptive Computation Time
|
||||
```
|
||||
|
||||
## 涌现属性
|
||||
|
||||
CTM 最迷人之处在于**涌现**——以下行为均无专门设计：
|
||||
|
||||
| 属性 | 表现 |
|
||||
|------|------|
|
||||
| [[adaptive-computation-time|自适应计算]] | 简单样本 <10 ticks 停止 |
|
||||
| 校准 (Calibration) | ImageNet 天然优秀校准 |
|
||||
| Look Around | 分类前顺序扫描图像 |
|
||||
| [[internal-world-model|内部世界模型]] | 无位置编码，泛化至更大迷宫 |
|
||||
| 行波 (Traveling Waves) | UMAP 可视化中的低频行波 |
|
||||
|
||||
## 扩展连接
|
||||
|
||||
- 连接 [[spiking-neural-networks|SNN]]（占位页面）：共同的生物学灵感，不同的实现路径
|
||||
- 网络规模：320 → **334** 页（+14：1 论文 + 11 概念 + 1 SNN 占位 + 1 Review）
|
||||
|
||||
# 📚 Wiki 集成
|
||||
|
||||
| 指标 | 数值 |
|
||||
|------|------|
|
||||
| 新增页面 | 14 个（1 论文 + 12 概念 + 1 Review） |
|
||||
| Wiki 规模 | 320 → 334 |
|
||||
| 链接完整性 | ✅ 100% 无断链 |
|
||||
|
||||
# 💡 关键洞察
|
||||
|
||||
1. **「神经元即处理器」的激进赌注**：CTM 将每个神经元从「简单非线性门」升级为「小型时序处理器」，这是对深度学习最底层计算原语的重新设计。如果这条路走通，可能触发一场「神经元架构」的创新浪潮——类似 Transformer 取代 RNN 时发生的那样。
|
||||
|
||||
2. **同步 = 解耦 = 涌现**：用同步矩阵而非 z_t 作为表示，看似增加了一层间接性，实则**解放了神经元**——它们不再被迫直接编码任务信息，而是可以自由产生丰富动态。这种「不要求神经元直接有用」的设计哲学，可能是涌现能力的关键。
|
||||
|
||||
3. **Sakana AI 的方向信号**：来自 Transformer 原作者的团队（Llion Jones）押注在「神经动力学」方向，这是一个强烈的信号——他们可能看到了 Attention 范式之外的 Next Big Thing。
|
||||
|
||||
4. **与 StreamingLLM 的意外联系**：CTM 的 pre-activation history（M-step buffer）与 StreamingLLM 的 [[attention-sinks|Attention Sink]] + rolling KV cache 有结构相似性——都在用有限的历史窗口维持时序计算。这暗示「有限历史的时序表示」可能是多个子领域的汇聚点。
|
||||
70
reviews/neurida-review-20260515.md
Normal file
70
reviews/neurida-review-20260515.md
Normal file
@@ -0,0 +1,70 @@
|
||||
---
|
||||
title: "NeurIDA 论文集成 Review"
|
||||
created: 2026-05-15
|
||||
type: review
|
||||
tags: [review, wiki-integration, database, machine-learning]
|
||||
---
|
||||
|
||||
# 📌 基本信息
|
||||
|
||||
| 字段 | 内容 |
|
||||
|------|------|
|
||||
| 论文 | NeurIDA: Dynamic Modeling for Effective In-Database Analytics |
|
||||
| 作者 | Lingze Zeng, Naili Xing, Shaofeng Cai, Peng Lu, Gang Chen, Jian Pei, Beng Chin Ooi |
|
||||
| 机构 | NUS, Zhejiang University, Duke University |
|
||||
| arXiv | 2512.08483v3 |
|
||||
| 类别 | cs.DB |
|
||||
| 集成日期 | 2026-05-15 |
|
||||
|
||||
# 🎯 核心概念
|
||||
|
||||
1. **[[dynamic-in-database-modeling|Dynamic In-Database Modeling]]** — 从「为每个任务训练固定模型」转向「查询时从共享组件装配定制模型」的新范式，解决 ML 静态性与 RDBMS 动态性的根本矛盾
|
||||
|
||||
2. **[[dime-dynamic-in-database-modeling-engine|DIME]]** — 四阶段管线引擎：Base Table Embedding → Dynamic Relation Modeling → Dynamic Model Fusion → Task-Aware Prediction
|
||||
|
||||
3. **[[composable-base-model-architecture|Composable Base Model Architecture]]** — 异构基础模型池（传统 ML + TRM + Tabular Foundation + LTM）+ 三个共享模型组件
|
||||
|
||||
4. **[[conditional-model-dispatcher|Conditional Model Dispatcher]]** — ZCP + 历史 EMA 的轻量级模型选择与条件增强调度
|
||||
|
||||
5. **[[query-intent-analyzer|Query Intent Analyzer]]** — LLM 驱动的 NLQ→结构化画像解析器，零人工特征工程
|
||||
|
||||
# 🔗 概念网络
|
||||
|
||||
## 核心连接
|
||||
|
||||
```
|
||||
NeurIDA
|
||||
└─ DIME (核心引擎)
|
||||
├── Base Table Embedding → 统一元组编码器
|
||||
├── Dynamic Relation Modeling → 关系图消息传递
|
||||
└── Dynamic Model Fusion → 上下文感知选择性融合
|
||||
├─ Query Intent Analyzer → Task Profile + Data Profile
|
||||
├─ Conditional Model Dispatcher → ZCP + EMA
|
||||
└─ Analytical Report Synthesizer → LLM 报告生成
|
||||
```
|
||||
|
||||
## 扩展网络
|
||||
- 连接了 **15 个新概念** + **3 篇相关工作**（占位页面）
|
||||
- 与更广泛的 [[in-database-analytics|In-Database Analytics]] 领域对接
|
||||
- 引入 [[tabular-foundation-models|Tabular Foundation Models]] 概念
|
||||
- 引入 [[zero-cost-proxies|Zero-Cost Proxies]]（NAS 领域交叉）
|
||||
|
||||
## 断链修复
|
||||
- 为 3 篇相关论文创建占位页面：Trails (VLDB 2024)、Dynamic Model Slicing (VLDB 2024)、NeurDB (CIDR 2025)
|
||||
|
||||
# 📚 Wiki 集成
|
||||
|
||||
| 指标 | 数值 |
|
||||
|------|------|
|
||||
| 新增页面 | 19 个（1 论文 + 15 概念 + 3 文献占位） |
|
||||
| 总页面数 | 300 → 319 |
|
||||
| 链接完整性 | 100%（0 断链） |
|
||||
| 概念平均链接数 | ~5 个出链/页 |
|
||||
|
||||
# 💡 关键洞察
|
||||
|
||||
1. **范式转变的启发性**：NeurIDA 的核心思想——「从训练模型转向装配模型」——不限于数据库领域。它暗示了一个更一般的趋势：从**固定模型**到**条件化模型工厂**。这对 AI agent 设计也有启示：agent 的能力是否也应该从「预定义工具集」转向「查询时动态装配能力模块」？
|
||||
|
||||
2. **LLM 的三重角色**：在 NeurIDA 中，LLM 扮演了三种不同角色——(a) 接口（NLQ 解析）、(b) 推理（Data Profiler 的 CoT 决策）、(c) 输出（报告生成）。这种「一个模型，多种接口」的设计模式对 agent 系统设计有参考价值。
|
||||
|
||||
3. **数据库 + AI 的融合加速**：论文来自 NUS/ZJU 研究组（NeurDB 也是同一团队），表明数据库领域的 AI 化正在从「ML 作为插件」升级到「AI 作为一等公民」的阶段。
|
||||
Reference in New Issue
Block a user