62 lines
2.3 KiB
Markdown
62 lines
2.3 KiB
Markdown
---
|
|
title: "真机强化学习的安全探索均衡 — 机器之心报道"
|
|
created: 2026-06-29
|
|
updated: 2026-06-29
|
|
type: article
|
|
tags: [safe-reinforcement-learning, safe-exploration, real-world-rl, embodied-intelligence]
|
|
sources: [https://mp.weixin.qq.com/s/nE9gq1bStIg1qhWpIRvQHQ]
|
|
authors: ["机器之心 / 数据派THU"]
|
|
platform: 数据派THU
|
|
---
|
|
|
|
# 真机强化学习的安全探索均衡
|
|
|
|
> 来源：[机器之心 / 数据派THU](https://mp.weixin.qq.com/s/nE9gq1bStIg1qhWpIRvQHQ)，论文原文：[[safe-equilibrium-exploration|IEEE TPAMI 2026]]
|
|
|
|
## 一句话
|
|
|
|
对清华大学李升波教授团队 SEE 论文的中文科普解读：首次揭示 [[safe-exploration|安全探索]] 的理论收敛边界——可行域与不确定模型的[[equilibrium-safe-exploration|均衡]]，并给出单调收敛的严格证明。
|
|
|
|
## 核心故事
|
|
|
|
### 问题：真机 RL 没有"重来"按钮
|
|
|
|
[[real-world-rl|真机强化学习]] 与仿真训练的本质区别：物理世界不允许无限试错。无限制探索 → 机器损坏 / 人员伤亡。
|
|
|
|
### 主流思路：步步为营
|
|
|
|
将探索限制在 [[feasible-zone|可行区域]] 内 → 收集数据 → 降低[[uncertain-model|模型不确定性]] → 扩展可行区域 → 循环。
|
|
|
|
### 悬而未决的问题
|
|
|
|
这个"滚雪球"过程**会不会收敛？收敛到哪里？理论上能探索多大？**
|
|
|
|
- Andreas Krause (ETH): Lyapunov 函数 + 高斯过程
|
|
- Claire Tomlin (Berkeley): HJ 可达性分析
|
|
|
|
但收敛性始终未解决。
|
|
|
|
### 清华的答案：安全探索均衡
|
|
|
|
[[safe-equilibrium-exploration|SEE 算法]] 两步交替：
|
|
|
|
1. **求区域**：固定模型，求解 [[risky-bellman-equation|风险贝尔曼方程]]，得最大可行域
|
|
2. **求模型**：固定区域，将最小不确定模型问题转化为 [[clique-decision-problem|团判定问题]]
|
|
|
|
理论保证：模型误差**单调减小**，可行域**单调扩展**，必然收敛到均衡。
|
|
|
|
### 实验结果
|
|
|
|
- 双积分器、倒立摆、独轮车三类任务
|
|
- **零约束违反**
|
|
- 独轮车仅 10 次迭代即达 95.78% 区域召回率
|
|
|
|
## 相关概念
|
|
|
|
- [[safe-equilibrium-exploration|SEE 论文]]
|
|
- [[safe-exploration|安全探索]]
|
|
- [[feasible-zone|可行域]]
|
|
- [[equilibrium-safe-exploration|安全探索均衡]]
|
|
- [[real-world-rl|真机强化学习]]
|
|
- [[risky-bellman-equation|风险贝尔曼方程]]
|