42 lines
1.2 KiB
Markdown
42 lines
1.2 KiB
Markdown
---
|
||
title: "真机RL安全探索均衡 (Raw)"
|
||
source: https://mp.weixin.qq.com/s/nE9gq1bStIg1qhWpIRvQHQ
|
||
author: 机器之心 / 数据派THU
|
||
date: 2026-06-29
|
||
platform: WeChat
|
||
---
|
||
|
||
# 真机强化学习的安全探索均衡
|
||
|
||
## 背景
|
||
|
||
具身智能爆发式演进，RL 是核心驱动算法。真机 RL 是终极考验——物理世界不允许无限试错。
|
||
|
||
## 安全探索基本思想
|
||
|
||
将探索严格限制在「可行区域」内 → 收集数据 → 降低模型误差 → 扩展可行区域 → 循环。
|
||
|
||
## 前人工作
|
||
|
||
- Andreas Krause (ETH): Lyapunov 函数 + 高斯过程
|
||
- Claire Tomlin (Berkeley): HJ 可达性分析
|
||
- 未解决问题：收敛性、收敛边界
|
||
|
||
## 清华 SEE 论文
|
||
|
||
首次证明安全探索必然收敛到「均衡」——可行域与不确定模型的不动点。
|
||
|
||
SEE 算法：
|
||
1. 固定模型 → 求解 Risky Bellman Equation → 最大可行域
|
||
2. 固定区域 → Clique Decision Problem → 最小不确定模型
|
||
|
||
理论性质：单调 + 收敛。
|
||
|
||
## 实验
|
||
|
||
双积分器、倒立摆、独轮车。零约束违反，10 次迭代内收敛。
|
||
|
||
## 意义
|
||
|
||
厘清"安全探索到底在探索什么"，为真机 RL 建立数学安全底座。
|