45 lines
1.4 KiB
Markdown
45 lines
1.4 KiB
Markdown
---
|
||
title: "Synapse Model"
|
||
created: 2026-05-15
|
||
updated: 2026-05-15
|
||
type: concept
|
||
tags: [neural-architecture, recurrence, connectivity]
|
||
sources: [raw/papers/darlow-ctm-2025.md]
|
||
---
|
||
|
||
# Synapse Model
|
||
|
||
**Synapse Model** 是 CTM 中的循环互连结构，负责在神经元之间共享信息。
|
||
|
||
## 定义
|
||
|
||
```
|
||
a_t = f_θ_syn(concat(z_t, o_t)) ∈ R^D
|
||
```
|
||
|
||
其中：
|
||
- z_t 是当前神经元后激活状态
|
||
- o_t 是上一 tick 的注意力输出（与外部数据的交互结果）
|
||
- f_θ_syn 是 U-Net 风格的 MLP（深度为 k，k 为偶数）
|
||
|
||
## 为什么是 U-Net 风格？
|
||
|
||
作者发现 U-Net 风格（带跳跃连接的编码器-解码器 MLP）表现最佳，暗示**更深、更灵活的突触计算**有益于信息整合。这与生物突触的复杂性（多种受体类型、短期可塑性、神经递质动力学）形成类比。
|
||
|
||
## 在 CTM 流程中的位置
|
||
|
||
```
|
||
z_t ─┐
|
||
├→ Synapse → a_t → NLMs → z_{t+1}
|
||
o_t ─┘ ↓
|
||
Sync → q_t, y_t → Attention → o_{t+1}
|
||
↓
|
||
concat(z_{t+1}, o_{t+1}) → next tick
|
||
```
|
||
|
||
Synapse 是**神经动力学的引擎**——它将外部信息（通过注意力）和内部状态融合，为每个神经元的 NLM 提供前激活输入。
|
||
|
||
## 来源
|
||
|
||
- [[darlow-ctm-2025|CTM 论文]]
|