39 lines
1.5 KiB
Markdown
39 lines
1.5 KiB
Markdown
---
|
||
title: "Continuous Thought Machine (CTM)"
|
||
created: 2026-05-15
|
||
updated: 2026-05-15
|
||
type: concept
|
||
tags: [neural-architecture, temporal-dynamics, biological-plausibility, sakana-ai]
|
||
sources: [raw/papers/darlow-ctm-2025.md]
|
||
---
|
||
|
||
# Continuous Thought Machine (CTM)
|
||
|
||
**Continuous Thought Machine (CTM)** 是 Sakana AI 提出的新型神经网络架构，将神经时序动力学作为核心计算原理。
|
||
|
||
## 核心设计原则
|
||
|
||
与大多数将神经元简化为静态激活函数（ReLU/GELU/SiLU）的现代 NN 不同，CTM 有两个根本性创新：
|
||
|
||
1. **[[neuron-level-models|Neuron-Level Models]]**：每个神经元拥有私有参数，从激活历史中产生复杂时序动态
|
||
2. **[[neural-synchronization|Neural Synchronization]]**：将神经元群体活动的时序相关性直接用作潜在表示
|
||
|
||
## 与现有架构的差异
|
||
|
||
| 维度 | 标准 Transformer/CNN | RNN/LSTM | CTM |
|
||
|------|---------------------|----------|-----|
|
||
| 神经元模型 | 统一激活函数 | 统一激活函数 | 私有 NLMs |
|
||
| 时序处理 | 位置编码 | 隐藏状态 | 内部 ticks + 同步 |
|
||
| 表示来源 | 单步激活快照 | 最终隐藏状态 | 激活历史的时序相关性 |
|
||
| 自适应计算 | 需显式模块 | 需显式模块 | 原生涌现 |
|
||
|
||
## 关键属性
|
||
|
||
- **原生自适应计算**：通过 [[certainty-based-loss|Certainty-Based Loss]] 自然实现
|
||
- **可解释性**：同步表示和注意力轨迹提供自然的可解释途径
|
||
- **涌现行为**：环顾四周、行波、内部世界模型构建
|
||
|
||
## 来源
|
||
|
||
- [[darlow-ctm-2025|CTM 论文 (NeurIPS 2025)]]
|