---
title: "Pre-Activation History"
created: 2026-05-15
updated: 2026-05-15
type: concept
tags: [neural-architecture, temporal-processing, memory]
sources: [raw/papers/darlow-ctm-2025.md]
---

# Pre-Activation History

**前激活历史** 是 CTM 中每个神经元维护的滚动缓冲区，存储最近 M 步的前激活值，供 [[neuron-level-models|NLM]] 处理。

## 定义

```
A_t = [a_{t-M+1}, a_{t-M+2}, ..., a_t] ∈ R^{D×M}
```

其中 a_t 是 [[synapse-model|Synapse Model]] 的输出（前激活）。A_t 以 FIFO 方式滚动更新。

对于第 d 个神经元：
```
A_t^d ∈ R^M  →  NLM g_{θ_d}  →  z_{t+1}^d
```

## 为什么重要？

前激活历史是 NLMs 能够产生**复杂时序动态**的基础：
- 没有历史 → NLM 退化为普通逐元素变换
- M 较大 → 每个神经元可以检测 M 步的模式
- 这类似于卷积的感受野，但在时间维度上且每个神经元独立

## 超参数 M

作者发现 M ≈ 10-100 在初始探索中有效：
- 太小：缺乏足够的时序上下文
- 太大：训练开销增加，可能稀释近期信号

## 来源

- [[darlow-ctm-2025|CTM 论文]]