redtail

Projet Nvidia Redtail

Composants de navigation visuelle autonomes pour les drones et les véhicules au sol utilisant l'apprentissage en profondeur. Reportez-vous à Wiki pour plus d'informations sur la façon de commencer.

Ce projet contient des réseaux de neurones profonds, du code de vision et de contrôle informatique, des instructions matérielles et d'autres artefacts qui permettent aux utilisateurs de construire un drone ou un véhicule au sol qui peut naviguer de manière autonome dans des environnements très non structurés comme les sentiers forestiers, les trottoirs, etc. La navigation fonctionne sur la plate-forme intégrée Jetson de Nvidia. Notre article ArXIV décrit en détail TrailNet et d'autres modules d'exécution.

Les réseaux de neurones profonds du projet (DNNS) peuvent être formés à partir de zéro à l'aide de données accessibles au public. Quelques DNN pré-formés sont également disponibles dans le cadre de ce projet. Dans le cas où vous souhaitez former TrailNet DNN à partir de zéro, suivez les étapes de cette page.

Le projet contient également des modèles DNN stéréo et de l'exécution qui permettent d'estimer la profondeur de la caméra stéréo sur les plates-formes NVIDIA.

IROS 2018 : Nous avons présenté notre travail à la conférence IROS 2018 dans le cadre de drones basés sur la vision: quelle est la prochaine étape? atelier.

CVPR 2018 : Nous avons présenté notre travail à la conférence CVPR 2018 dans le cadre de l'atelier sur la conduite autonome.

Références et démos

• Stéréo dnn, papier cvpr18, démo vidéo stéréo dnn
• Trailnet Forest Drone Navigation, IROS17 Paper, TrailNet DNN Video Demo
• GTC 2017 Talk: diapositives, vidéo
• Vidéo de démonstration montrant un vol autonome de 250 m avec TrailNet DNN pilotant le drone
• Vidéo de démonstration montrant notre vol de drones autonomes de 1 kilomètre avec TrailNet DNN
• Vidéo de démonstration montrant Trailnet DNN conduisant un rover robotique autour du bureau
• Vidéo de démonstration montrant la généralisation du trailnet aux véhicules au sol et à d'autres environnements

Nouvelles

• 2020-02-03 : Implémentations alternatives. Le Redtail n'est plus en cours de développement, mais heureusement, notre communauté est intervenue et a continué à développer le projet. Nous remercions nos utilisateurs pour l'intérêt pour le Redtail , les questions et les commentaires!

  Certaines implémentations alternatives sont répertoriées ci-dessous.

  • @mtbsteve: https://github.com/mtbsteve/redtail

• 2018-10-10 : nœud et correctifs stéréo DNN ROS.

  • Ajout du nœud stéréo DNN ROS et du nœud de visualiseur.
  • Problème fixe avec Nvidia-Docker V2.

• 2018-09-19 : Mises à jour du DNN stéréo.

  • Déplacé vers Tensorrt 4.0
  • Prise en charge FP16 activée dans le modèle ResNet18 2D , entraînant une augmentation des performances 2x (20 ips sur Jetson TX2).
  • Activé la sérialisation Tensorrt dans le modèle ResNet18 2D pour réduire le temps de chargement du modèle de minutes à moins d'une seconde.
  • Meilleur journalisation et support de profileur.

• 2018-06-04 : atelier CVPR 2018. Version rapide de stéréo dnn.

  • Présentation de nos travaux à la conférence CVPR 2018 dans le cadre de l'atelier sur la conduite autonome.
  • Ajout de la version rapide du modèle DNN stéréo basé sur le modèle RESNET18 2D. Le modèle fonctionne à 10fps sur Jetson TX2. Voir ReadMe pour plus de détails et consultez Sample_App mis à jour.

• GTC 2018 : Voici notre page de session stéréo DNN au GTC18 et la présentation vidéo enregistrée

• 2018-03-22 : Redtail 2.0.

  • Ajout de modèles DNN stéréo et de bibliothèque d'inférence (TensorFlow / Tensorrt). Pour plus de détails, consultez le Readme.
  • Migré vers Jetpack 3.2. Ce changement apporte les derniers composants tels que CUDA 9.0, CUDNN 7.0, Tensorrt 3.0, OpenCV 3.3 et autres sur la plate-forme Jetson. Notez qu'il s'agit d'un changement de rupture.
  • Ajout de la prise en charge de l'inférence INT8. Cela permet une inférence rapide sur les appareils qui ont une implémentation matérielle des instructions INT8. Plus de détails sont sur notre wiki.

• 2018-02-15 : Ajout de la prise en charge de la plate-forme de découverte TBS.

  • Instructions étape par étape sur la façon d'assembler le drone TBS Discovery.
  • Instructions sur la façon d'attacher et d'utiliser une caméra stéréo ZED.
  • Instructions détaillées sur la façon de calibrer, de tester et de piloter le drone.

• 2017-10-12 : Ajout de l'image Docker de simulation complète, prise en charge expérimentale pour APM Rover et support pour Mavros V0.21 +.

  • L'image Docker de simulation Redtail contient tous les composants nécessaires pour exécuter la simulation complète de Redtail dans Docker. Reportez-vous à Wiki pour plus d'informations.
  • Support expérimental pour APM Rover. Reportez-vous à Wiki pour plus d'informations.
  • Plusieurs autres modifications, notamment la prise en charge de Mavros V0.21 +, le script d'installation de Jetson mis à jour et quelques corrections de bugs.

• 2017-09-07 : le projet NVIDIA Redtail est publié en tant que projet open source.

  Les modules d'IA de Redtail permettent la construction de drones autonomes et de robots mobiles basés sur l'apprentissage en profondeur et les systèmes intégrés NVIDIA Jetson TX1 et TX2. Le code source, les modèles pré-formés ainsi que les instructions détaillées de construction et de test sont publiés sur GitHub.

• 2017-07-26 : Code et scripts migrés vers Jetpack 3.1 avec Tensorrt 2.1.

  Tensorrt 2.1 fournit des améliorations significatives des performances d'inférence DNN ainsi que de nouvelles fonctionnalités et corrections de bogues. Il s'agit d'un changement de rupture qui nécessite de redéfinir Jetson avec Jetpack 3.1.