---
title: "Adaptive Computation Time (ACT)"
created: 2026-05-15
updated: 2026-05-15
type: concept
tags: [neural-architecture, efficiency, computation]
sources: [raw/papers/darlow-ctm-2025.md]
---

# Adaptive Computation Time (ACT)

**Adaptive Computation Time** 是一类技术，允许神经网络根据输入难度动态调整计算量。

## 经典方案

### ACT (Graves, 2016)
- 引入可学习的 halting 单元
- 在每个循环步骤输出 halting 概率
- 当累积 halting 概率超过 1−ε 时停止
- 需要 "ponder cost" 正则化项鼓励效率

### PonderNet (Banino et al., 2021)
- 将 halting 概率建模为几何分布
- 训练时从分布采样步数
- 推理时使用期望步数

### 其他变体
- **Early-Exit Networks**：中间层添加分类器，满足条件则提前退出
- **AdaTape**：动态扩展输入序列
- **Sparse Universal Transformer**：循环权重共享 + 动态 halting + MoE

## CTM 的原生 ACT

CTM 通过 [[certainty-based-loss|Certainty-Based Loss]] 自然实现 ACT，无需显式 halting 模块：
- 确定性可以作为停止条件
- 简单样本在早期 tick 即达到高确定性
- ImageNet 实验中，大多数样本在 <10 ticks 即可停止（总共 50 ticks）

## 关键区别

CTM 的 ACT 是**涌现属性**而非显式设计——没有 halting 模块、没有 ponder cost、没有步数采样。这是其架构哲学的核心体现：通过设计损失函数和表示，让"智能"行为自然涌现。

## 来源

- Graves, "Adaptive Computation Time for Recurrent Neural Networks", 2016
- [[darlow-ctm-2025|CTM 论文]] (NeurIPS 2025)