1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Neuron Pairing | 2026-05-15 | 2026-05-15 | concept |
|
|
Neuron Pairing
Neuron Pairing 是 CTM 中用于降低 neural-synchronization 计算开销的子采样策略。
动机
同步矩阵 S^t = Z^t·(Z^t)^⊺ ∈ R^{D×D} 的规模是 O(D²)，对于典型的 D（数百到数千）规模过大，无法直接用于下游。
策略
在训练开始时，随机选择两组神经元对并固定：
- D_out 对 → 输出同步表示 S^t_out → 投影到 y_t（预测）
- D_action 对 → 动作同步表示 S^t_action → 投影到 q_t（注意力查询）
此外还保留：
- D_self 对 → 对角线元素 (i,i)，捕获单个神经元的自同步（即能量）
设计考量
- 固定对：在整个训练中保持不变，使投影矩阵 W_out、W_in 可学习
- 随机选择：避免偏差，确保多样的神经元交互被采样
- 恢复快照依赖：对角线对 (i,i) 保留了类似"快照"的表示能力
效率 vs 表达力权衡
| 维度 | 完整 S^t | Neuron Pairing |
|---|---|---|
| 参数量 | O(D²) | O(D × (D_out + D_action)) |
| 信息量 | 所有对的相关性 | 子采样对的相关性 |
| 训练稳定性 | 投影矩阵过大 | 可控维度 |