---
title: "Neuron-Level Models (NLMs)"
created: 2026-05-15
updated: 2026-05-15
type: concept
tags: [neural-architecture, biological-plausibility, temporal-processing]
sources: [raw/papers/darlow-ctm-2025.md]
---

# Neuron-Level Models (NLMs)

**Neuron-Level Models (NLMs)** 是 CTM 的第一个核心创新：每个神经元拥有**私有参数**的模型，而非所有神经元共享同一激活函数。

## 机制

对于第 d 个神经元：
```
z_{t+1}^d = g_{θ_d}(A_t^d)
```

其中：
- A_t^d ∈ R^M 是该神经元最近 M 步的**前激活历史**（pre-activation history）
- g_{θ_d} 是一个深度为 1 的 MLP（宽度 d_hidden），每个神经元有独立权重
- z 是**后激活**（post-activation），即该神经元的放电状态

## 与传统激活函数的对比

| 维度 | 传统（ReLU/GELU） | NLMs |
|------|-------------------|------|
| 参数共享 | 全共享 | 每个神经元私有 |
| 时序依赖 | 无（仅当前输入） | M 步历史 |
| 表达能力 | 低（单一点态非线性） | 高（时态模式检测） |
| 生物学类比 | 无 | 类似真实神经元的脉冲时序依赖 |

## 含义

NLMs 是「神经元即小型时序处理器」的思想实验——将 D 维潜在空间中的每个维度视为一个具有独立时序动力学的"微型大脑"。这显著增加了参数量（× d_hidden × M），但也开辟了新的能力维度。

## 来源

- [[darlow-ctm-2025|CTM 论文]]