1.7 KiB
1.7 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Neural Synchronization as Representation | 2026-05-15 | 2026-05-15 | concept |
|
|
Neural Synchronization as Representation
神经同步作为表示是 CTM 的第二个核心创新：将神经元群体活动历史的时序相关性直接用作潜在表示，而非使用单一时间点的激活快照。
数学定义
给定所有神经元在 tick 1 到 t 的后激活历史 Z^t ∈ R^{D×t}，同步矩阵定义为：
S^t = Z^t · (Z^t)^⊺ ∈ R^{D×D}
即任意两个神经元 d_i 和 d_j 在整个激活历史上的内积，衡量它们的时间相关程度。
为什么是同步而非快照？
作者发现将 z_t 直接投影到下游任务会过度约束神经元——每个神经元的激活被强制编码任务相关信息，限制了其可能产生的动态类型。同步表示解耦了神经元动态与任务需求：神经元可以自由产生丰富的时序模式，只需它们的相关性（而非具体值）编码任务信息。
子采样：Neuron Pairing
完整 S^t 的 O(D²) 规模过大。CTM 在训练开始时随机选择：
- D_out 对神经元 → 输出同步表示 S^t_out
- D_action 对神经元 → 动作同步表示 S^t_action（用于注意力查询）
这些对的选择在整个训练过程中固定。
时间尺度调制
每对神经元 (i,j) 有可学习的指数衰减参数 r_ij：
- r_ij = 0：所有历史 tick 等权重
- r_ij 大：偏向近期 tick
这使 CTM 能学习在多个时间尺度上同步。