跳到正文
RLinf
GitHub (在新标签页打开)

为具身智能和智能体而生的强化学习框架

开源的具身智能与智能体强化学习框架。PPO、GRPO、SAC 等算法开箱即用,VLA 模型从仿真训练到真机部署一条链路打通。

插画式仿真与真实机械臂执行操作任务,由学习轨迹连接

运行在业界领先厂商的硬件上:

NVIDIA
AMD
Intel
Huawei Ascend
Biren
D-Robotics
MetaX
Moore Threads
Kunlunxin
YinWang

从模型训练,到规模化运行

统一训练具身模型与智能体,按需扩展计算规模,适配多种硬件。

  • 具身与智能体,统一训练

    支持视觉语言动作模型(VLA)、世界动作模型的仿真与真机训练,以及单智能体、多智能体强化学习。

  • 从单机扩展到多节点

    框架屏蔽分布式编程复杂度,无需修改代码即可扩展到更多 GPU 节点;支持 FSDP、Megatron 等训练后端。

  • 多种硬件,同一训练栈

    通过统一底层抽象适配 NVIDIA、AMD 及国产加速器;具体可用的模型与环境组合以硬件支持矩阵为准。

从训练流程到分布式执行

用统一的 Worker 接口组织训练、采样与环境组件,通过执行、调度与通信层,将强化学习流程运行在计算集群上。

RLinf 架构总览图
  • 用 Worker 组织组件

    Worker(执行单元)以统一接口封装训练、采样和环境引擎,将组件逻辑与分布式执行分开。

  • 按工作负载选择执行模式

    共享式、分离式和混合式执行模式,决定各组件如何共享或分开使用计算资源。

  • 协调资源与数据传输

    调度层安排组件使用集群资源,通信通道负责组件之间的数据传输。

几秒钟上手

用 UV 或 Docker 安装 RLinf,再按教程跑通第一次训练。

  1. 安装 RLinf

    在右边选好配置,运行对应的命令。

  2. 跑通 VLA 快速上手

    按快速上手教程训练第一个 VLA 模型。

  3. 扩展到多机

    把同样的训练扩展到多台机器上运行。

安装文档
安装方式
场景
模型
硬件
下载源
安装命令
git clone https://github.com/RLinf/RLinf.git
cd RLinf
bash requirements/install.sh embodied --model openvla-oft --env maniskill_libero
source .venv/bin/activate

广泛的算法、模型与硬件支持

从模型、训练方法,到仿真与真实世界,探索 RLinf 的支持范围。

支持说明

模型

从动作策略到世界模型。

VLA
π₀ / π₀.₅ (OpenPI) · π₀-FAST (LeRobot)
世界动作模型
FastWAM · Cosmos3
视觉语言模型
Qwen2.5-VL · Qwen3-VL
世界模型
OpenSora · Wan
奖励模型
ResNet · Qwen3-VL
策略网络
MLP-Policy · CNN-Policy

训练方法

强化学习与监督训练。

强化学习
GRPO · PPO · Async PPO · DAPO · Reinforce++ · SAC · CrossQ · RLPD
SFT 与模仿学习
Full-parameter SFT · LoRA SFT · VLM SFT · DAgger · HG-DAgger

仿真环境

在仿真环境中探索、训练与评估。

环境
ManiSkill · LIBERO · LIBERO-Pro & LIBERO-Plus · RoboTwin · RoboVerse · BEHAVIOR · MetaWorld · IsaacLab

机器人与数据采集

真机平台与经验采集设备。

机器人
Single-Arm Franka · Dual-Arm Franka · XSquare Turtle2
数据采集
GELLO · SpaceMouse · PICO VR

智能体训练示例

单智能体与多智能体训练。

单智能体
SearchR1 · rStar2 · AgentLightning Calc-X · Online Coder · Math Reasoning RL
多智能体
WideSeek-R1

计算硬件

具体兼容范围取决于模型与环境组合。

平台与软件栈
NVIDIA · CUDA · AMD · ROCm · Huawei Ascend · CANN · Moore Threads · MUSA · MetaX · MACA · Biren

硬件兼容矩阵

v0.4

最新

新增支持精选

  • 模型 · Cosmos3(SFT / 评估)
  • 算法 · STEAM
  • 环境 · RoboCasa365
  • 机器人 · SO-101
  • 硬件 · MetaX MACA
  • 硬件 · Intel XPU

版本亮点

  • 模块化机器人接口: 解耦硬件驱动与任务逻辑,扩展双臂与多种机器人平台。 #1481
  • 原生 PyTorch OpenPI: 重构 OpenPI 实现,迁移训练算法并改进权重同步。 #1512
  • 新增学习方法: 加入 RLT 在线 RL、STEAM 离线学习与 OpenVLA-OFT 在线策略蒸馏。 #1324 #1290 #1377
  • Cosmos3 与 FastWAM: 增加监督微调与评估支持,扩展具身模型训练选择。 #1487 #1398
  • 观测与通信压缩: 新增观测压缩与集合通信张量压缩。 #1461 #1476
  • 多智能体 FSDP: 新增多智能体 FSDP actor 后端,扩展智能体训练的后端选择。 #1400

加入社区

从第一次上手的新用户,到做大规模训练的团队,社区向所有人开放。