serl
1.0.0
Веб-страница: https://serl-robot.github.io/
SERL предоставляет набор библиотек, оболочек env и примеров для обучения политикам RL для задач роботизированного манипулирования. В следующих разделах описывается, как использовать SERL. Проиллюстрируем использование примерами.
?: SERL-видео, дополнительное видео по образцу эффективного RL.
Оглавление
SERL: пакет программного обеспечения для эффективного роботизированного обучения с подкреплением
Установка
Обзор и структура кода
Быстрый старт с SERL в Sim
Беги с Франкой Арм на реальном роботе
Вклад
Цитирование
Людям, которые используют SERL для задач, связанных с управлением захватом (например, поднятие предметов), мы настоятельно рекомендуем добавить небольшой штраф к изменению действия захвата, поскольку это значительно улучшит скорость обучения. Подробную информацию см. в PR №65.
Кроме того, мы также рекомендуем проводить онлайн-встречи во время обучения в дополнение к загрузке офлайн-демонстраций. Если у вас есть робот Franka и SpaceMouse, это может быть так же просто, как просто коснуться SpaceMouse во время тренировки.
Мы исправили серьезную проблему в рамках действий по вмешательству. См. выпуск v0.1.1. Пожалуйста, обновите свой код, добавив в него основную ветку.
Настройка среды Conda: создайте среду с
conda create -n serl python=3.10
Установите Jax следующим образом:
Для процессора (не рекомендуется):
pip install --upgrade "jax[cpu]"
Для графического процессора:
pip install --upgrade "jax[cuda12]==0.4.28" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
Для ТПУ
pip install --upgrade "jax[tpu]" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html
Дополнительную информацию об установке Jax см. на странице Jax Github.
Установите serl_launcher
компакт-диск serl_launcher pip install -e .pip install -r требования.txt
SERL предоставляет пользователям набор общих библиотек для обучения политикам RL для задач роботизированного манипулирования. Основная структура проведения экспериментов RL предполагает наличие узла актера и узла ученика, оба из которых взаимодействуют со средой роботизированного тренажерного зала. Оба узла работают асинхронно, при этом данные передаются от актера к обучаемому узлу через сеть с использованием агента. Учащийся будет периодически синхронизировать политику с актером. Такая конструкция обеспечивает гибкость для параллельного обучения и вывода.
Таблица структуры кода
| Каталог кодов | Описание |
|---|---|
| serl_launcher | Основной код SERL |
| serl_launcher.agents | Политики агентов (например, DRQ, SAC, BC) |
| serl_launcher.wrappers | Обертки для спортзала |
| serl_launcher.data | Буфер воспроизведения и хранилище данных |
| serl_launcher.vision | Модели и утилиты, связанные с Vision |
| франка_сим | Franka mujoco симулирует среду спортзала |
| serl_robot_infra | Инфраробот для бега с настоящими роботами |
| serl_robot_infra.robot_servers | Flask-сервер для отправки команд роботу через ROS |
| serl_robot_infra.franka_env | Тренажерный зал для настоящего робота Франки |
Мы предоставляем смоделированную среду для тестирования SERL с помощью робота Franka.
Ознакомьтесь с быстрым запуском SERL в Sim
Обучение на примере государственного наблюдения
Обучение на примере наблюдения за изображением
Обучение на основе наблюдения изображения с примером 20 демонстрационных траекторий
Мы предоставляем пошаговое руководство по запуску политик RL с помощью SERL на реальном роботе Franka.
Посмотрите пробежку с Франкой Арм на Real Robot
Вставка колышка?
Вставка компонентов печатной платы
Прокладка кабеля?
Перемещение объекта ?️
Мы приветствуем вклад в этот репозиторий! Форкните и отправьте PR, если у вас есть какие-либо улучшения в кодовой базе. Прежде чем отправлять запрос на запрос, запустите pre-commit run --all-files , чтобы убедиться, что база кода отформатирована правильно.
Если вы используете этот код для своих исследований, пожалуйста, цитируйте нашу статью:
@misc{luo2024serl, title={SERL: Пакет программного обеспечения для эффективного роботизированного обучения с подкреплением}, автор={Цзяньлан Луо, Чжэюань Ху, Чарльз Сюй, Ю Лян Тан, Джейкоб Берг, Арчит Шарма, Стефан Шаал, Челси Финн и Абхишек Гупта и Сергей Левин}, год={2024}, eprint={2401.16013}, archivePrefix={arXiv}, PrimaryClass={cs.RO}} 
