---
title: "Continuous Thought Machine (CTM)"
created: 2026-05-15
updated: 2026-05-15
type: concept
tags: [neural-architecture, temporal-dynamics, biological-plausibility, sakana-ai]
sources: [raw/papers/darlow-ctm-2025.md]
---

# Continuous Thought Machine (CTM)

**Continuous Thought Machine (CTM)** 是 Sakana AI 提出的新型神经网络架构，将神经时序动力学作为核心计算原理。

## 核心设计原则

与大多数将神经元简化为静态激活函数（ReLU/GELU/SiLU）的现代 NN 不同，CTM 有两个根本性创新：

1. **[[neuron-level-models|Neuron-Level Models]]**：每个神经元拥有私有参数，从激活历史中产生复杂时序动态
2. **[[neural-synchronization|Neural Synchronization]]**：将神经元群体活动的时序相关性直接用作潜在表示

## 与现有架构的差异

| 维度 | 标准 Transformer/CNN | RNN/LSTM | CTM |
|------|---------------------|----------|-----|
| 神经元模型 | 统一激活函数 | 统一激活函数 | 私有 NLMs |
| 时序处理 | 位置编码 | 隐藏状态 | 内部 ticks + 同步 |
| 表示来源 | 单步激活快照 | 最终隐藏状态 | 激活历史的时序相关性 |
| 自适应计算 | 需显式模块 | 需显式模块 | 原生涌现 |

## 关键属性

- **原生自适应计算**：通过 [[certainty-based-loss|Certainty-Based Loss]] 自然实现
- **可解释性**：同步表示和注意力轨迹提供自然的可解释途径
- **涌现行为**：环顾四周、行波、内部世界模型构建

## 来源

- [[darlow-ctm-2025|CTM 论文 (NeurIPS 2025)]]