20260518-morning:新增内容

concepts/pre-activation-history.md

@@ -0,0 +1,42 @@
+---
+title: "Pre-Activation History"
+created: 2026-05-15
+updated: 2026-05-15
+type: concept
+tags: [neural-architecture, temporal-processing, memory]
+sources: [raw/papers/darlow-ctm-2025.md]
+---
+
+# Pre-Activation History
+
+**前激活历史** 是 CTM 中每个神经元维护的滚动缓冲区，存储最近 M 步的前激活值，供 [[neuron-level-models|NLM]] 处理。
+
+## 定义
+
+```
+A_t = [a_{t-M+1}, a_{t-M+2}, ..., a_t] ∈ R^{D×M}
+```
+
+其中 a_t 是 [[synapse-model|Synapse Model]] 的输出（前激活）。A_t 以 FIFO 方式滚动更新。
+
+对于第 d 个神经元：
+```
+A_t^d ∈ R^M  →  NLM g_{θ_d}  →  z_{t+1}^d
+```
+
+## 为什么重要？
+
+前激活历史是 NLMs 能够产生**复杂时序动态**的基础：
+- 没有历史 → NLM 退化为普通逐元素变换
+- M 较大 → 每个神经元可以检测 M 步的模式
+- 这类似于卷积的感受野，但在时间维度上且每个神经元独立
+
+## 超参数 M
+
+作者发现 M ≈ 10-100 在初始探索中有效：
+- 太小：缺乏足够的时序上下文
+- 太大：训练开销增加，可能稀释近期信号
+
+## 来源
+
+- [[darlow-ctm-2025|CTM 论文]]