20260518-morning:新增内容
This commit is contained in:
46
concepts/temporal-decay-neural.md
Normal file
46
concepts/temporal-decay-neural.md
Normal file
@@ -0,0 +1,46 @@
|
||||
---
|
||||
title: "Temporal Decay (Neural)"
|
||||
created: 2026-05-15
|
||||
updated: 2026-05-15
|
||||
type: concept
|
||||
tags: [temporal-processing, synchronization, learnable-parameters]
|
||||
sources: [raw/papers/darlow-ctm-2025.md]
|
||||
---
|
||||
|
||||
# Temporal Decay (Neural)
|
||||
|
||||
**时态衰减** 是 CTM 中每对神经元 (i,j) 的可学习参数 r_ij ≥ 0,用于调制 [[neural-synchronization|同步]] 计算中的时间尺度。
|
||||
|
||||
## 定义
|
||||
|
||||
对于神经元对 (i,j),衰减向量定义为:
|
||||
```
|
||||
R^t_ij = [exp(-r_ij(t-1)), exp(-r_ij(t-2)), ..., exp(0)]^⊺ ∈ R^t
|
||||
```
|
||||
|
||||
同步计算被重新缩放:
|
||||
```
|
||||
S^t_ij = (Z^t_i)^⊺ · diag(R^t_ij) · Z^t_j / √(Σ_τ R^t_ij[τ])
|
||||
```
|
||||
|
||||
## 行为
|
||||
|
||||
- **r_ij = 0**:所有历史 tick 等权重 → 长时程整合
|
||||
- **r_ij 大**:偏向近期 tick → 短时程响应
|
||||
- **r_ij 可学习**:CTM 根据任务需求自动调整每对神经元的时间尺度
|
||||
|
||||
## 实验发现
|
||||
|
||||
作者观察到 CTM 对 r_ij 的使用具有**任务依赖性**:
|
||||
- **迷宫任务**:模型积极利用多时间尺度
|
||||
- **ImageNet**:衰减的使用较少
|
||||
|
||||
这暗示不同任务需要不同的时态整合模式。
|
||||
|
||||
## 生物学类比
|
||||
|
||||
类似生物突触的**短期可塑性**(short-term plasticity)——某些突触对近期活动敏感(促进/抑制),而其他突触保持长时程稳定。
|
||||
|
||||
## 来源
|
||||
|
||||
- [[darlow-ctm-2025|CTM 论文]]
|
||||
Reference in New Issue
Block a user