20260518-morning:新增内容
This commit is contained in:
44
concepts/synapse-model.md
Normal file
44
concepts/synapse-model.md
Normal file
@@ -0,0 +1,44 @@
|
||||
---
|
||||
title: "Synapse Model"
|
||||
created: 2026-05-15
|
||||
updated: 2026-05-15
|
||||
type: concept
|
||||
tags: [neural-architecture, recurrence, connectivity]
|
||||
sources: [raw/papers/darlow-ctm-2025.md]
|
||||
---
|
||||
|
||||
# Synapse Model
|
||||
|
||||
**Synapse Model** 是 CTM 中的循环互连结构,负责在神经元之间共享信息。
|
||||
|
||||
## 定义
|
||||
|
||||
```
|
||||
a_t = f_θ_syn(concat(z_t, o_t)) ∈ R^D
|
||||
```
|
||||
|
||||
其中:
|
||||
- z_t 是当前神经元后激活状态
|
||||
- o_t 是上一 tick 的注意力输出(与外部数据的交互结果)
|
||||
- f_θ_syn 是 U-Net 风格的 MLP(深度为 k,k 为偶数)
|
||||
|
||||
## 为什么是 U-Net 风格?
|
||||
|
||||
作者发现 U-Net 风格(带跳跃连接的编码器-解码器 MLP)表现最佳,暗示**更深、更灵活的突触计算**有益于信息整合。这与生物突触的复杂性(多种受体类型、短期可塑性、神经递质动力学)形成类比。
|
||||
|
||||
## 在 CTM 流程中的位置
|
||||
|
||||
```
|
||||
z_t ─┐
|
||||
├→ Synapse → a_t → NLMs → z_{t+1}
|
||||
o_t ─┘ ↓
|
||||
Sync → q_t, y_t → Attention → o_{t+1}
|
||||
↓
|
||||
concat(z_{t+1}, o_{t+1}) → next tick
|
||||
```
|
||||
|
||||
Synapse 是**神经动力学的引擎**——它将外部信息(通过注意力)和内部状态融合,为每个神经元的 NLM 提供前激活输入。
|
||||
|
||||
## 来源
|
||||
|
||||
- [[darlow-ctm-2025|CTM 论文]]
|
||||
Reference in New Issue
Block a user