1.3 KiB
1.3 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Temporal Decay (Neural) | 2026-05-15 | 2026-05-15 | concept |
|
|
Temporal Decay (Neural)
时态衰减 是 CTM 中每对神经元 (i,j) 的可学习参数 r_ij ≥ 0，用于调制 neural-synchronization 计算中的时间尺度。
定义
对于神经元对 (i,j)，衰减向量定义为：
R^t_ij = [exp(-r_ij(t-1)), exp(-r_ij(t-2)), ..., exp(0)]^⊺ ∈ R^t
同步计算被重新缩放：
S^t_ij = (Z^t_i)^⊺ · diag(R^t_ij) · Z^t_j / √(Σ_τ R^t_ij[τ])
行为
- r_ij = 0：所有历史 tick 等权重 → 长时程整合
- r_ij 大：偏向近期 tick → 短时程响应
- r_ij 可学习：CTM 根据任务需求自动调整每对神经元的时间尺度
实验发现
作者观察到 CTM 对 r_ij 的使用具有任务依赖性：
- 迷宫任务：模型积极利用多时间尺度
- ImageNet：衰减的使用较少
这暗示不同任务需要不同的时态整合模式。
生物学类比
类似生物突触的短期可塑性（short-term plasticity）——某些突触对近期活动敏感（促进/抑制），而其他突触保持长时程稳定。