人的运动建模包括身体几何形状(骨骼),身体物理(肌肉),身体环境相互作用(触觉);模仿学习(视频到控制;与RL步行和跑步),视觉指导的步行(视觉导航;虚幻引擎)。
graph LR
A[OpenSim] --> B[myoconverter]
B --> C[MuJuCo]
C --> D[puppeteer]
C --> E[run-skeleton-run-in-3d]
style B fill:#e1f5fe
style C fill:#ccffcc
style D fill:#fff3e0
style E fill:#f3e5f5
# 创建虚拟Python环境
conda create -n locomotion -c conda-forge python=3.10 pip ipython cudatoolkit=11.8.0
# 激活虚拟环境
conda activate locomotion
# 安装依赖
pip install -r requirements.txt
# deactivate virtual environment
# conda deactivate locomotion
# remove virtual environment
# conda remove -n locomotion --all
果蝇身体模型位于 资产目录 中。为了使其可视化,您可以拖放 fruitfly.xml
或 floes.xml
到 MuJoCo 的simulate
查看器。
通过 fly.demo.py 与果蝇进行交互。
开始使用 flybody
的最快方法是看 教程 。
另外,果蝇环境示例的脚本 显示了飞行、步行和视觉引导的飞行强化学习任务环境的示例。
要训练果蝇,请尝试 分布式RL训练脚本 ,它使用 Ray 并行化 DMPO 代理训练。
请按照以下步骤安装flybody
:
- 从远程仓库安装:
pip install git+https://github.com/TuragaLab/flybody.git pip install "flybody[tf] @ git+https://github.com/TuragaLab/flybody.git" pip install "flybody[ray] @ git+https://github.com/TuragaLab/flybody.git"
注意:dm-reverb只支持Linux。
- 执行测试
ruff check flybody/
pytest tests/
pytest tests/test-tf.py
启动carlaue4.exe并运行以下脚本:
python Carla_Pedestrian_PPO.py
带 图像界面的运行:
python Carla_Pedestrian_System_GUI.py
选择“初始化环境”,请确保起点和终点位于CSV中,然后单击“开始训练”。
- flybody - flybody dataset
- puppeteer - Using MDControl in MuJoCo: Layered World Model as a Visual Full-Body Humanoid Controller
- 基于模仿学习的人运动的全身控制 - 包括 SkeletonMuscle、MyoSkeleton ,支持动作捕捉器、无预训练模型
- MuJoCo musculoskeletal models set
- myoconverter