---
title: "真机RL安全探索均衡 (Raw)"
source: https://mp.weixin.qq.com/s/nE9gq1bStIg1qhWpIRvQHQ
author: 机器之心 / 数据派THU
date: 2026-06-29
platform: WeChat
---

# 真机强化学习的安全探索均衡

## 背景

具身智能爆发式演进，RL 是核心驱动算法。真机 RL 是终极考验——物理世界不允许无限试错。

## 安全探索基本思想

将探索严格限制在「可行区域」内 → 收集数据 → 降低模型误差 → 扩展可行区域 → 循环。

## 前人工作

- Andreas Krause (ETH): Lyapunov 函数 + 高斯过程
- Claire Tomlin (Berkeley): HJ 可达性分析
- 未解决问题：收敛性、收敛边界

## 清华 SEE 论文

首次证明安全探索必然收敛到「均衡」——可行域与不确定模型的不动点。

SEE 算法：
1. 固定模型 → 求解 Risky Bellman Equation → 最大可行域
2. 固定区域 → Clique Decision Problem → 最小不确定模型

理论性质：单调 + 收敛。

## 实验

双积分器、倒立摆、独轮车。零约束违反，10 次迭代内收敛。

## 意义

厘清"安全探索到底在探索什么"，为真机 RL 建立数学安全底座。
