title, created, updated, type, tags, sources
| title |
created |
updated |
type |
tags |
sources |
| Continuous Thought Machine (CTM) |
2026-05-15 |
2026-05-15 |
concept |
| neural-architecture |
| temporal-dynamics |
| biological-plausibility |
| sakana-ai |
|
| raw/papers/darlow-ctm-2025.md |
|
Continuous Thought Machine (CTM)
Continuous Thought Machine (CTM) 是 Sakana AI 提出的新型神经网络架构，将神经时序动力学作为核心计算原理。
核心设计原则
与大多数将神经元简化为静态激活函数（ReLU/GELU/SiLU）的现代 NN 不同，CTM 有两个根本性创新：
- neuron-level-models：每个神经元拥有私有参数，从激活历史中产生复杂时序动态
- neural-synchronization：将神经元群体活动的时序相关性直接用作潜在表示
与现有架构的差异
| 维度 |
标准 Transformer/CNN |
RNN/LSTM |
CTM |
| 神经元模型 |
统一激活函数 |
统一激活函数 |
私有 NLMs |
| 时序处理 |
位置编码 |
隐藏状态 |
内部 ticks + 同步 |
| 表示来源 |
单步激活快照 |
最终隐藏状态 |
激活历史的时序相关性 |
| 自适应计算 |
需显式模块 |
需显式模块 |
原生涌现 |
关键属性
来源
