Files
myWiki/concepts/language-gradient.md
2026-06-01 10:46:01 +08:00

1.3 KiB

title, created, updated, type, tags, sources
title created updated type tags sources
Language Gradient (语言梯度) 2026-05-29 2026-05-29 concept
agent
optimization
gradient
https://arxiv.org/abs/2406.18532

Language Gradient (语言梯度)

Language Gradientagent-symbolic-learning 的核心机制:用自然语言文本模拟数值梯度,告诉 Symbolic Optimizer 每个符号组件应如何改进。它是 ∇L 在文本空间中的 simulacrum

与数值梯度的区别

数值梯度 Language Gradient
∂L/∂θ 浮点向量 "当前 prompt 哪里有问题"的文本分析
局部一阶方向 全局因果推理
确定性 LLM 生成(统计性)

生成

symbolic-backpropagation 中,每个节点基于下游梯度信号 + 本节点输入/输出,由 LLM 生成针对该节点的改进分析。

text-vs-weight-optimization 的关系

Language Gradient 的"梯度"本质正是吕明在 SkillOpt 深度解读中剖析的核心:它不是真正的梯度,而是 LLM 对失败原因的全局因果推理

相关