41 lines
1.4 KiB
Markdown
41 lines
1.4 KiB
Markdown
---
|
||
title: "Internal Ticks"
|
||
created: 2026-05-15
|
||
updated: 2026-05-15
|
||
type: concept
|
||
tags: [neural-architecture, recurrence, temporal-processing]
|
||
sources: [raw/papers/darlow-ctm-2025.md]
|
||
---
|
||
|
||
# Internal Ticks
|
||
|
||
**Internal Ticks** 是 CTM 中的内部时序维度 t ∈ {1, 2, ..., T}，与数据维度（序列长度、图像尺寸等）完全解耦。
|
||
|
||
## 核心思想
|
||
|
||
传统循环模型沿**数据固有的序列维度**展开（如文本的 token 位置），而 CTM 沿**自生成的"思考步骤"** 展开——即使是静态输入（单张图像）也有内部时序。
|
||
|
||
## 在 CTM 中的作用
|
||
|
||
每个 internal tick 中：
|
||
1. [[synapse-model|Synapse Model]] 产生前激活 a_t
|
||
2. [[neuron-level-models|NLMs]] 产生后激活 z_{t+1}
|
||
3. [[neural-synchronization|同步矩阵]] S^t 被计算
|
||
4. 输出 y_t 和注意力查询 q_t 被生成
|
||
5. 注意力输出 o_t 与 z_{t+1} 拼接进入下一 tick
|
||
|
||
## 与 Adaptive Computation 的关系
|
||
|
||
CTM 不要求使用固定的 tick 数——[[certainty-based-loss|损失函数]] 在每个样本上动态选择最佳 tick。这意味着：
|
||
- 简单样本可提前终止（如 <10 ticks for ImageNet）
|
||
- 困难样本可使用更多 ticks
|
||
|
||
## 相关概念
|
||
|
||
- 类似 Perceiver 的 iterative attention 和 PonderNet 的 halting 机制
|
||
- 但 CTM 的 ticks 是 **neural dynamics 的展开**，而非单纯的迭代精炼
|
||
|
||
## 来源
|
||
|
||
- [[darlow-ctm-2025|CTM 论文]]
|