20260518-morning:新增内容
This commit is contained in:
40
concepts/internal-ticks.md
Normal file
40
concepts/internal-ticks.md
Normal file
@@ -0,0 +1,40 @@
|
||||
---
|
||||
title: "Internal Ticks"
|
||||
created: 2026-05-15
|
||||
updated: 2026-05-15
|
||||
type: concept
|
||||
tags: [neural-architecture, recurrence, temporal-processing]
|
||||
sources: [raw/papers/darlow-ctm-2025.md]
|
||||
---
|
||||
|
||||
# Internal Ticks
|
||||
|
||||
**Internal Ticks** 是 CTM 中的内部时序维度 t ∈ {1, 2, ..., T},与数据维度(序列长度、图像尺寸等)完全解耦。
|
||||
|
||||
## 核心思想
|
||||
|
||||
传统循环模型沿**数据固有的序列维度**展开(如文本的 token 位置),而 CTM 沿**自生成的"思考步骤"** 展开——即使是静态输入(单张图像)也有内部时序。
|
||||
|
||||
## 在 CTM 中的作用
|
||||
|
||||
每个 internal tick 中:
|
||||
1. [[synapse-model|Synapse Model]] 产生前激活 a_t
|
||||
2. [[neuron-level-models|NLMs]] 产生后激活 z_{t+1}
|
||||
3. [[neural-synchronization|同步矩阵]] S^t 被计算
|
||||
4. 输出 y_t 和注意力查询 q_t 被生成
|
||||
5. 注意力输出 o_t 与 z_{t+1} 拼接进入下一 tick
|
||||
|
||||
## 与 Adaptive Computation 的关系
|
||||
|
||||
CTM 不要求使用固定的 tick 数——[[certainty-based-loss|损失函数]] 在每个样本上动态选择最佳 tick。这意味着:
|
||||
- 简单样本可提前终止(如 <10 ticks for ImageNet)
|
||||
- 困难样本可使用更多 ticks
|
||||
|
||||
## 相关概念
|
||||
|
||||
- 类似 Perceiver 的 iterative attention 和 PonderNet 的 halting 机制
|
||||
- 但 CTM 的 ticks 是 **neural dynamics 的展开**,而非单纯的迭代精炼
|
||||
|
||||
## 来源
|
||||
|
||||
- [[darlow-ctm-2025|CTM 论文]]
|
||||
Reference in New Issue
Block a user