20260518-morning:新增内容
This commit is contained in:
46
concepts/neural-synchronization.md
Normal file
46
concepts/neural-synchronization.md
Normal file
@@ -0,0 +1,46 @@
|
||||
---
|
||||
title: "Neural Synchronization as Representation"
|
||||
created: 2026-05-15
|
||||
updated: 2026-05-15
|
||||
type: concept
|
||||
tags: [representation-learning, temporal-dynamics, synchronization, biological-plausibility]
|
||||
sources: [raw/papers/darlow-ctm-2025.md]
|
||||
---
|
||||
|
||||
# Neural Synchronization as Representation
|
||||
|
||||
**神经同步作为表示**是 CTM 的第二个核心创新:将神经元群体活动历史的时序相关性直接用作潜在表示,而非使用单一时间点的激活快照。
|
||||
|
||||
## 数学定义
|
||||
|
||||
给定所有神经元在 tick 1 到 t 的后激活历史 Z^t ∈ R^{D×t},同步矩阵定义为:
|
||||
|
||||
```
|
||||
S^t = Z^t · (Z^t)^⊺ ∈ R^{D×D}
|
||||
```
|
||||
|
||||
即任意两个神经元 d_i 和 d_j 在整个激活历史上的**内积**,衡量它们的时间相关程度。
|
||||
|
||||
## 为什么是同步而非快照?
|
||||
|
||||
作者发现将 z_t 直接投影到下游任务会过度约束神经元——每个神经元的激活被强制编码任务相关信息,限制了其可能产生的动态类型。同步表示**解耦了神经元动态与任务需求**:神经元可以自由产生丰富的时序模式,只需它们的相关性(而非具体值)编码任务信息。
|
||||
|
||||
## 子采样:Neuron Pairing
|
||||
|
||||
完整 S^t 的 O(D²) 规模过大。CTM 在训练开始时随机选择:
|
||||
- D_out 对神经元 → 输出同步表示 S^t_out
|
||||
- D_action 对神经元 → 动作同步表示 S^t_action(用于注意力查询)
|
||||
|
||||
这些对的选择在整个训练过程中固定。
|
||||
|
||||
## 时间尺度调制
|
||||
|
||||
每对神经元 (i,j) 有可学习的指数衰减参数 r_ij:
|
||||
- r_ij = 0:所有历史 tick 等权重
|
||||
- r_ij 大:偏向近期 tick
|
||||
|
||||
这使 CTM 能学习在多个时间尺度上同步。
|
||||
|
||||
## 来源
|
||||
|
||||
- [[darlow-ctm-2025|CTM 论文]]
|
||||
Reference in New Issue
Block a user