47 lines
1.3 KiB
Markdown
47 lines
1.3 KiB
Markdown
---
|
||
title: "Temporal Decay (Neural)"
|
||
created: 2026-05-15
|
||
updated: 2026-05-15
|
||
type: concept
|
||
tags: [temporal-processing, synchronization, learnable-parameters]
|
||
sources: [raw/papers/darlow-ctm-2025.md]
|
||
---
|
||
|
||
# Temporal Decay (Neural)
|
||
|
||
**时态衰减** 是 CTM 中每对神经元 (i,j) 的可学习参数 r_ij ≥ 0，用于调制 [[neural-synchronization|同步]] 计算中的时间尺度。
|
||
|
||
## 定义
|
||
|
||
对于神经元对 (i,j)，衰减向量定义为：
|
||
```
|
||
R^t_ij = [exp(-r_ij(t-1)), exp(-r_ij(t-2)), ..., exp(0)]^⊺ ∈ R^t
|
||
```
|
||
|
||
同步计算被重新缩放：
|
||
```
|
||
S^t_ij = (Z^t_i)^⊺ · diag(R^t_ij) · Z^t_j / √(Σ_τ R^t_ij[τ])
|
||
```
|
||
|
||
## 行为
|
||
|
||
- **r_ij = 0**：所有历史 tick 等权重 → 长时程整合
|
||
- **r_ij 大**：偏向近期 tick → 短时程响应
|
||
- **r_ij 可学习**：CTM 根据任务需求自动调整每对神经元的时间尺度
|
||
|
||
## 实验发现
|
||
|
||
作者观察到 CTM 对 r_ij 的使用具有**任务依赖性**：
|
||
- **迷宫任务**：模型积极利用多时间尺度
|
||
- **ImageNet**：衰减的使用较少
|
||
|
||
这暗示不同任务需要不同的时态整合模式。
|
||
|
||
## 生物学类比
|
||
|
||
类似生物突触的**短期可塑性**（short-term plasticity）——某些突触对近期活动敏感（促进/抑制），而其他突触保持长时程稳定。
|
||
|
||
## 来源
|
||
|
||
- [[darlow-ctm-2025|CTM 论文]]
|