redtail

Nvidia Redtail Project

Автономные компоненты визуальной навигации для беспилотников и наземных транспортных средств с использованием глубокого обучения. Обратитесь к Wiki для получения дополнительной информации о том, как начать.

Этот проект содержит глубокие нейронные сети, компьютерное зрение и код управления, аппаратные инструкции и другие артефакты, которые позволяют пользователям строить беспилотник или наземное средство, которое может самостоятельно перемещаться по очень неструктурированным средам, таким как лесные тропы, тротуары и т. Д. Навигация работает на платформе Nvidia Jetson Embedded. Наша статья Arxiv подробно описывает Trailnet и другие модули времени выполнения.

Глубокие нейронные сети проекта (DNNS) могут быть обучены с нуля, используя общедоступные данные. Несколько предварительно обученных DNN также доступны в рамках этого проекта. Если вы хотите обучить Trailnet DNN с нуля, выполните шаги на этой странице.

Проект также содержит стерео -модели DNN и время выполнения, которые позволяют оценить глубину по стереокамере на платформах NVIDIA.

IROS 2018 : Мы представили нашу работу на конференции IROS 2018 в рамках беспилотников, основанных на зрении: что дальше? мастерская.

CVPR 2018 : мы представили нашу работу на конференции CVPR 2018 в рамках семинара по автономному вождению.

Ссылки и демонстрации

• Stereo DNN, CVPR18 Paper, Stereo DNN Видео демонстрация
• Навигация по лесному дрону Trailnet, IROS17 Paper, Trailnet DNN Video Demo
• GTC 2017 Talk: слайды, видео
• Демо -видео, показывающее 250 -метровое автономное полете с Trailnet DNN, летающим из беспилотника
• Демо -видео, показывающее наш 1 -километровый автономный бегство беспилотников с Trailnet DNN
• Демо -видео, показывающее Trailnet DNN, вождение роботизированного ровера вокруг офиса
• Демо -видео, показывающее обобщение трасс для наземных транспортных средств и других средств

Новости

• 2020-02-03 : Альтернативные реализации. Redtail больше не разрабатывается, но, к счастью, наше сообщество вступило в силу и продолжило разработку проекта. Мы благодарим наших пользователей за интерес к Redtail , вопросы и отзывы!

  Некоторые альтернативные реализации перечислены ниже.

  • @mtbsteve: https://github.com/mtbsteve/redtail

• 2018-10-10 : Stereo dnn ros node и исправления.

  • Добавлен стерео -узловой узел DNN ROS и узел визуализатора.
  • Исправлена ​​проблема с Nvidia-Docker V2.

• 2018-09-19 : обновления в стерео DNN.

  • Переехал в Tensorrt 4.0
  • Поддержка FP16 в ResNet18 2D , в результате чего 2 -кратное увеличение производительности (20 кадров в секунду на Jetson TX2).
  • Включена сериализация Tensorrt в ResNet18 2D , чтобы сократить время загрузки модели с минут до менее чем секунды.
  • Лучшая поддержка регистрации и профилировщика.

• 2018-06-04 : семинар CVPR 2018. Быстрая версия стерео DNN.

  • Представление нашей работы на конференции CVPR 2018 в рамках семинара по автономному вождению.
  • Добавлена ​​быстрая версия модели Stereo DNN на основе 2D -модели RESNET18. Модель работает со скоростью 10 кадров в секунду на Jetson TX2. См. Подробнее, см. Readme и посетите обновленную образец_ап.

• GTC 2018 : Вот наша страница сеанса Stereo DNN на GTC18 и записанная видео -презентация

• 2018-03-22 : Redtail 2.0.

  • Добавлены модели Stereo DNN и библиотеку локаций (TensorFlow/Tensorrt). Для получения более подробной информации см. Readme.
  • Мигрировал в JetPack 3.2. Это изменение приносит последние компоненты, такие как Cuda 9.0, Cudnn 7.0, Tensorrt 3.0, OpenCV 3.3 и другие на платформу Jetson. Обратите внимание, что это нарушающее изменение.
  • Добавлена ​​поддержка для вывода Int8. Это обеспечивает быстрый вывод на устройствах, которые имеют аппаратную реализацию инструкций Int8. Более подробная информация на нашей вики.

• 2018-02-15 : Добавлена ​​поддержка платформы Discovery TBS.

  • Пошаговые инструкции о том, как собрать беспилотник TBS Discovery.
  • Инструкции о том, как прикрепить и использовать стерео -камеру ZED.
  • Подробные инструкции о том, как калибровать, проверить и летать на беспилотнике.

• 2017-10-12 : добавлено полное моделирование изображения Docker, экспериментальная поддержка APM Rover и поддержка Mavros V0.21+.

  • Изображение Docker моделирования Redtail содержит все компоненты, необходимые для запуска полного моделирования красного хвоста в Docker. См. Вики для получения дополнительной информации.
  • Экспериментальная поддержка APM Rover. См. Вики для получения дополнительной информации.
  • Несколько других изменений, включая поддержку Mavros v0.21+, обновленный сценарий Jetson Install и несколько исправлений ошибок.

• 2017-09-07 : Nvidia Redtail Project выпускается в качестве проекта с открытым исходным кодом.

  Модули AI Redtail позволяют создавать автономные беспилотники и мобильные роботы на основе глубокого обучения и систем Nvidia Jetson TX1 и TX2. Исходный код, предварительно обученные модели, а также подробные инструкции по сборке и тестированию выпускаются на GitHub.

• 2017-07-26 : мигрированный код и сценарии в JetPack 3.1 с Tensorrt 2.1.

  Tensorrt 2.1 обеспечивает значительные улучшения в производительности вывода DNN, а также новые функции и исправления ошибок. Это нарушающее изменение, которое требует повторного разбивания Jetson с JetPack 3.1.