20260518-morning:新增内容

This commit is contained in:
2026-05-18 10:17:56 +08:00
parent b116710e4c
commit 2faf4bb002
38 changed files with 1528 additions and 2 deletions

View File

@@ -0,0 +1,40 @@
---
title: "Internal Ticks"
created: 2026-05-15
updated: 2026-05-15
type: concept
tags: [neural-architecture, recurrence, temporal-processing]
sources: [raw/papers/darlow-ctm-2025.md]
---
# Internal Ticks
**Internal Ticks** 是 CTM 中的内部时序维度 t ∈ {1, 2, ..., T},与数据维度(序列长度、图像尺寸等)完全解耦。
## 核心思想
传统循环模型沿**数据固有的序列维度**展开(如文本的 token 位置),而 CTM 沿**自生成的"思考步骤"** 展开——即使是静态输入(单张图像)也有内部时序。
## 在 CTM 中的作用
每个 internal tick 中:
1. [[synapse-model|Synapse Model]] 产生前激活 a_t
2. [[neuron-level-models|NLMs]] 产生后激活 z_{t+1}
3. [[neural-synchronization|同步矩阵]] S^t 被计算
4. 输出 y_t 和注意力查询 q_t 被生成
5. 注意力输出 o_t 与 z_{t+1} 拼接进入下一 tick
## 与 Adaptive Computation 的关系
CTM 不要求使用固定的 tick 数——[[certainty-based-loss|损失函数]] 在每个样本上动态选择最佳 tick。这意味着
- 简单样本可提前终止(如 <10 ticks for ImageNet
- 困难样本可使用更多 ticks
## 相关概念
- 类似 Perceiver iterative attention PonderNet halting 机制
- CTM ticks **neural dynamics 的展开**而非单纯的迭代精炼
## 来源
- [[darlow-ctm-2025|CTM 论文]]