1.1 KiB
1.1 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Pre-Activation History | 2026-05-15 | 2026-05-15 | concept |
|
|
Pre-Activation History
前激活历史 是 CTM 中每个神经元维护的滚动缓冲区，存储最近 M 步的前激活值，供 neuron-level-models 处理。
定义
A_t = [a_{t-M+1}, a_{t-M+2}, ..., a_t] ∈ R^{D×M}
其中 a_t 是 synapse-model 的输出（前激活）。A_t 以 FIFO 方式滚动更新。
对于第 d 个神经元：
A_t^d ∈ R^M → NLM g_{θ_d} → z_{t+1}^d
为什么重要？
前激活历史是 NLMs 能够产生复杂时序动态的基础：
- 没有历史 → NLM 退化为普通逐元素变换
- M 较大 → 每个神经元可以检测 M 步的模式
- 这类似于卷积的感受野，但在时间维度上且每个神经元独立
超参数 M
作者发现 M ≈ 10-100 在初始探索中有效：
- 太小：缺乏足够的时序上下文
- 太大：训练开销增加，可能稀释近期信号