1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Synapse Model | 2026-05-15 | 2026-05-15 | concept |
|
|
Synapse Model
Synapse Model 是 CTM 中的循环互连结构，负责在神经元之间共享信息。
定义
a_t = f_θ_syn(concat(z_t, o_t)) ∈ R^D
其中：
- z_t 是当前神经元后激活状态
- o_t 是上一 tick 的注意力输出（与外部数据的交互结果）
- f_θ_syn 是 U-Net 风格的 MLP（深度为 k，k 为偶数）
为什么是 U-Net 风格？
作者发现 U-Net 风格（带跳跃连接的编码器-解码器 MLP）表现最佳，暗示更深、更灵活的突触计算有益于信息整合。这与生物突触的复杂性（多种受体类型、短期可塑性、神经递质动力学）形成类比。
在 CTM 流程中的位置
z_t ─┐
├→ Synapse → a_t → NLMs → z_{t+1}
o_t ─┘ ↓
Sync → q_t, y_t → Attention → o_{t+1}
↓
concat(z_{t+1}, o_{t+1}) → next tick
Synapse 是神经动力学的引擎——它将外部信息（通过注意力）和内部状态融合，为每个神经元的 NLM 提供前激活输入。