myWiki/concepts/internal-ticks.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Internal Ticks	2026-05-15	2026-05-15	concept	neural-architecture recurrence temporal-processing	raw/papers/darlow-ctm-2025.md

Internal Ticks

Internal Ticks 是 CTM 中的内部时序维度 t ∈ {1, 2, ..., T}，与数据维度（序列长度、图像尺寸等）完全解耦。

核心思想

传统循环模型沿数据固有的序列维度展开（如文本的 token 位置），而 CTM 沿自生成的"思考步骤" 展开——即使是静态输入（单张图像）也有内部时序。

在 CTM 中的作用

每个 internal tick 中：

1. synapse-model 产生前激活 a_t
2. neuron-level-models 产生后激活 z_{t+1}
3. neural-synchronization S^t 被计算
4. 输出 y_t 和注意力查询 q_t 被生成
5. 注意力输出 o_t 与 z_{t+1} 拼接进入下一 tick

与 Adaptive Computation 的关系

CTM 不要求使用固定的 tick 数——certainty-based-loss 在每个样本上动态选择最佳 tick。这意味着：

• 简单样本可提前终止（如 <10 ticks for ImageNet）
• 困难样本可使用更多 ticks

相关概念

• 类似 Perceiver 的 iterative attention 和 PonderNet 的 halting 机制
• 但 CTM 的 ticks 是 neural dynamics 的展开，而非单纯的迭代精炼

来源

• darlow-ctm-2025