53 lines
2.1 KiB
Markdown
53 lines
2.1 KiB
Markdown
---
|
||
title: "交互逻辑模型 (Logical Model of Interactions)"
|
||
created: 2026-06-03
|
||
updated: 2026-06-03
|
||
type: concept
|
||
tags: [interactions, logical-model, DNN, LLM, interpretability]
|
||
sources:
|
||
- "[[zhang-reconciling-sft-interaction-2026]]"
|
||
---
|
||
|
||
# 交互逻辑模型 (Logical Model of Interactions)
|
||
|
||
## 定义
|
||
|
||
交互逻辑模型 $\phi(\cdot)$ 是由 [[and-or-interactions|AND-OR 交互]] 构建的、用于逼近 DNN 输出分数的可解释模型。给定输入 $x'$：
|
||
|
||
$$\phi(x') = \sum_{T \in \Omega^{\text{and}}} I_T^{\text{and}} \cdot \mathbb{1}(\text{AND}_T) + \sum_{T \in \Omega^{\text{or}}} I_T^{\text{or}} \cdot \mathbb{1}(\text{OR}_T) + b$$
|
||
|
||
## 关键性质
|
||
|
||
### 通用匹配性 (Universal Matching Property)
|
||
|
||
逻辑模型可以在**所有 $2^n$ 个掩码状态**上以 $\epsilon$ 精度逼近原 LLM 输出：
|
||
|
||
$$\forall x' \in \Psi, \quad |\phi(x') - v(x')| < \epsilon$$
|
||
|
||
其中 $\Psi = \{x_S \mid S \subseteq N\}$ 为 $2^n$ 个掩码状态的空间。
|
||
|
||
### LLM 输出分数的定义
|
||
|
||
在 LLM 语境下，输出分数 $v(x)$ 定义为生成目标 token 序列的置信度：
|
||
|
||
$$v(x) = \sum_{i=1}^{m} \log \frac{p(y = y_i \mid x, y_i^{\text{preceding}})}{1 - p(y = y_i \mid x, y_i^{\text{preceding}})}$$
|
||
|
||
## 在 SFT 分析中的角色
|
||
|
||
在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 中，逻辑模型是追踪 SFT 过程中交互演变的基础工具：
|
||
|
||
1. 在每个 SFT 时间点 $t$，从 LLM 中提取 AND-OR 交互构建 $\phi_t$
|
||
2. 比较 $\phi_t$ 与 $\phi_{t-1}$，识别 [[interaction-types-sft|三类交互]] 的变化
|
||
3. 计算 [[interaction-generalizability|泛化性 γ]] 和 [[uncancelled-interaction-effects|未抵消效应 ρ]] 评估交互质量
|
||
|
||
## 计算考量
|
||
|
||
交互提取的计算复杂性与 Shapley 值类似（指数级），但已有多种近似算法和工程优化使其在实际中可用。LLM 通常仅关注少量显著文本段，进一步降低了计算成本。
|
||
|
||
## 相关概念
|
||
|
||
- [[and-or-interactions|AND-OR 交互]]
|
||
- [[interaction-based-explanation|交互基解释]]
|
||
- [[interaction-types-sft|SFT 中的三类交互]]
|
||
- [[shapley-values]]
|