42 lines
1.4 KiB
Markdown
42 lines
1.4 KiB
Markdown
---
|
||
title: "Neuron-Level Models (NLMs)"
|
||
created: 2026-05-15
|
||
updated: 2026-05-15
|
||
type: concept
|
||
tags: [neural-architecture, biological-plausibility, temporal-processing]
|
||
sources: [raw/papers/darlow-ctm-2025.md]
|
||
---
|
||
|
||
# Neuron-Level Models (NLMs)
|
||
|
||
**Neuron-Level Models (NLMs)** 是 CTM 的第一个核心创新：每个神经元拥有**私有参数**的模型，而非所有神经元共享同一激活函数。
|
||
|
||
## 机制
|
||
|
||
对于第 d 个神经元：
|
||
```
|
||
z_{t+1}^d = g_{θ_d}(A_t^d)
|
||
```
|
||
|
||
其中：
|
||
- A_t^d ∈ R^M 是该神经元最近 M 步的**前激活历史**（pre-activation history）
|
||
- g_{θ_d} 是一个深度为 1 的 MLP（宽度 d_hidden），每个神经元有独立权重
|
||
- z 是**后激活**（post-activation），即该神经元的放电状态
|
||
|
||
## 与传统激活函数的对比
|
||
|
||
| 维度 | 传统（ReLU/GELU） | NLMs |
|
||
|------|-------------------|------|
|
||
| 参数共享 | 全共享 | 每个神经元私有 |
|
||
| 时序依赖 | 无（仅当前输入） | M 步历史 |
|
||
| 表达能力 | 低（单一点态非线性） | 高（时态模式检测） |
|
||
| 生物学类比 | 无 | 类似真实神经元的脉冲时序依赖 |
|
||
|
||
## 含义
|
||
|
||
NLMs 是「神经元即小型时序处理器」的思想实验——将 D 维潜在空间中的每个维度视为一个具有独立时序动力学的"微型大脑"。这显著增加了参数量（× d_hidden × M），但也开辟了新的能力维度。
|
||
|
||
## 来源
|
||
|
||
- [[darlow-ctm-2025|CTM 论文]]
|