20260601
This commit is contained in:
33
concepts/language-gradient.md
Normal file
33
concepts/language-gradient.md
Normal file
@@ -0,0 +1,33 @@
|
||||
---
|
||||
title: "Language Gradient (语言梯度)"
|
||||
created: 2026-05-29
|
||||
updated: 2026-05-29
|
||||
type: concept
|
||||
tags: ["agent", "optimization", "gradient"]
|
||||
sources: ["https://arxiv.org/abs/2406.18532"]
|
||||
---
|
||||
|
||||
# Language Gradient (语言梯度)
|
||||
|
||||
**Language Gradient** 是 [[agent-symbolic-learning|Agent Symbolic Learning]] 的核心机制:用自然语言文本模拟数值梯度,告诉 Symbolic Optimizer 每个符号组件应如何改进。它是 `∇L` 在文本空间中的 **simulacrum**。
|
||||
|
||||
## 与数值梯度的区别
|
||||
|
||||
| 数值梯度 | Language Gradient |
|
||||
|:---|:---|
|
||||
| `∂L/∂θ` 浮点向量 | "当前 prompt 哪里有问题"的文本分析 |
|
||||
| 局部一阶方向 | 全局因果推理 |
|
||||
| 确定性 | LLM 生成(统计性) |
|
||||
|
||||
## 生成
|
||||
|
||||
在 [[symbolic-backpropagation|Symbolic BP]] 中,每个节点基于下游梯度信号 + 本节点输入/输出,由 LLM 生成针对该节点的改进分析。
|
||||
|
||||
## 与 [[text-vs-weight-optimization|Text vs Weight Optimization]] 的关系
|
||||
|
||||
Language Gradient 的"梯度"本质正是吕明在 SkillOpt 深度解读中剖析的核心:它不是真正的梯度,而是 LLM 对失败原因的**全局因果推理**。
|
||||
|
||||
## 相关
|
||||
|
||||
- [[agent-symbolic-learning]] — 使用 Language Gradient 的框架
|
||||
- [[symbolic-backpropagation]] — 传播机制
|
||||
Reference in New Issue
Block a user