43 lines
1.1 KiB
Markdown
43 lines
1.1 KiB
Markdown
---
|
||
title: "Pre-Activation History"
|
||
created: 2026-05-15
|
||
updated: 2026-05-15
|
||
type: concept
|
||
tags: [neural-architecture, temporal-processing, memory]
|
||
sources: [raw/papers/darlow-ctm-2025.md]
|
||
---
|
||
|
||
# Pre-Activation History
|
||
|
||
**前激活历史** 是 CTM 中每个神经元维护的滚动缓冲区，存储最近 M 步的前激活值，供 [[neuron-level-models|NLM]] 处理。
|
||
|
||
## 定义
|
||
|
||
```
|
||
A_t = [a_{t-M+1}, a_{t-M+2}, ..., a_t] ∈ R^{D×M}
|
||
```
|
||
|
||
其中 a_t 是 [[synapse-model|Synapse Model]] 的输出（前激活）。A_t 以 FIFO 方式滚动更新。
|
||
|
||
对于第 d 个神经元：
|
||
```
|
||
A_t^d ∈ R^M → NLM g_{θ_d} → z_{t+1}^d
|
||
```
|
||
|
||
## 为什么重要？
|
||
|
||
前激活历史是 NLMs 能够产生**复杂时序动态**的基础：
|
||
- 没有历史 → NLM 退化为普通逐元素变换
|
||
- M 较大 → 每个神经元可以检测 M 步的模式
|
||
- 这类似于卷积的感受野，但在时间维度上且每个神经元独立
|
||
|
||
## 超参数 M
|
||
|
||
作者发现 M ≈ 10-100 在初始探索中有效：
|
||
- 太小：缺乏足够的时序上下文
|
||
- 太大：训练开销增加，可能稀释近期信号
|
||
|
||
## 来源
|
||
|
||
- [[darlow-ctm-2025|CTM 论文]]
|