---
title: "真机强化学习的安全探索均衡 — 机器之心报道"
created: 2026-06-29
updated: 2026-06-29
type: article
tags: [safe-reinforcement-learning, safe-exploration, real-world-rl, embodied-intelligence]
sources: [https://mp.weixin.qq.com/s/nE9gq1bStIg1qhWpIRvQHQ]
authors: ["机器之心 / 数据派THU"]
platform: 数据派THU
---

# 真机强化学习的安全探索均衡

> 来源：[机器之心 / 数据派THU](https://mp.weixin.qq.com/s/nE9gq1bStIg1qhWpIRvQHQ)，论文原文：[[safe-equilibrium-exploration|IEEE TPAMI 2026]]

## 一句话

对清华大学李升波教授团队 SEE 论文的中文科普解读：首次揭示 [[safe-exploration|安全探索]] 的理论收敛边界——可行域与不确定模型的[[equilibrium-safe-exploration|均衡]]，并给出单调收敛的严格证明。

## 核心故事

### 问题：真机 RL 没有"重来"按钮

[[real-world-rl|真机强化学习]] 与仿真训练的本质区别：物理世界不允许无限试错。无限制探索 → 机器损坏 / 人员伤亡。

### 主流思路：步步为营

将探索限制在 [[feasible-zone|可行区域]] 内 → 收集数据 → 降低[[uncertain-model|模型不确定性]] → 扩展可行区域 → 循环。

### 悬而未决的问题

这个"滚雪球"过程**会不会收敛？收敛到哪里？理论上能探索多大？**

- Andreas Krause (ETH): Lyapunov 函数 + 高斯过程
- Claire Tomlin (Berkeley): HJ 可达性分析

但收敛性始终未解决。

### 清华的答案：安全探索均衡

[[safe-equilibrium-exploration|SEE 算法]] 两步交替：

1. **求区域**：固定模型，求解 [[risky-bellman-equation|风险贝尔曼方程]]，得最大可行域
2. **求模型**：固定区域，将最小不确定模型问题转化为 [[clique-decision-problem|团判定问题]]

理论保证：模型误差**单调减小**，可行域**单调扩展**，必然收敛到均衡。

### 实验结果

- 双积分器、倒立摆、独轮车三类任务
- **零约束违反**
- 独轮车仅 10 次迭代即达 95.78% 区域召回率

## 相关概念

- [[safe-equilibrium-exploration|SEE 论文]]
- [[safe-exploration|安全探索]]
- [[feasible-zone|可行域]]
- [[equilibrium-safe-exploration|安全探索均衡]]
- [[real-world-rl|真机强化学习]]
- [[risky-bellman-equation|风险贝尔曼方程]]