redtail

Nvidia Redtail -Projekt

Autonome visuelle Navigationskomponenten für Drohnen und Bodenfahrzeuge mit Deep Learning. Weitere Informationen zum Einstieg finden Sie in Wiki.

Dieses Projekt enthält tiefe neuronale Netzwerke, Computer -Vision- und Steuerungscode, Hardwareanweisungen und andere Artefakte, mit denen Benutzer eine Drohne oder ein Bodenfahrzeug erstellen können Die Navigation wird auf der Jetson -Embedded -Plattform von Nvidia ausgeführt. Unser Arxiv -Papier beschreibt TrailNet und andere Laufzeitmodule im Detail.

Die Deep Neural Networks (DNNs) des Projekts können mit öffentlich verfügbaren Daten von Grund auf neu geschult werden. Einige vorgeborene DNNs sind auch als Teil dieses Projekts erhältlich. Wenn Sie TrailNet DNN von Grund auf neu trainieren möchten, befolgen Sie die Schritte auf dieser Seite.

Das Projekt enthält auch Stereo -DNN -Modelle und Laufzeit, mit denen die Tiefe von Stereokamera auf NVIDIA -Plattformen geschätzt werden kann.

IROS 2018 : Wir haben unsere Arbeit auf der IROS 2018 Conference als Teil von Vision-basierten Drohnen präsentiert: Wie geht es weiter? Werkstatt.

CVPR 2018 : Wir haben unsere Arbeit auf der CVPR 2018 Conference als Teil des Workshops über autonomes Fahren vorgestellt.

Referenzen und Demos

• Stereo DNN, CVPR18 Papier, Stereo -DNN -Video -Demo
• Trailnet Forest Drone Navigation, IROS17 Papier, Trailnet DNN Video Demo
• GTC 2017 Talk: Folien, Video
• Demo -Video mit 250 m autonomem Flug mit Trailnet DNN fliegt die Drohne
• Demo -Video mit unserem 1 Kilometer autonomen Drohnenflug mit Trailnet DNN zeigt
• Demo -Video mit Trailnet DNN fährt einen Roboterrover um das Büro
• Demo -Video mit TrailNet -Verallgemeinerung zu Bodenfahrzeugen und anderen Umgebungen

Nachricht

• 2020-02-03 : Alternative Implementierungen. Redtail wird nicht mehr entwickelt, aber zum Glück hat unsere Gemeinde das Projekt weiterentwickelt. Wir danken unseren Benutzern für das Interesse an Redtail , Fragen und Feedback!

  Einige alternative Implementierungen sind unten aufgeführt.

  • @mtbsteve: https://github.com/mtbsteve/redtail

• 2018-10-10 : Stereo-DNN-ROS-Knoten und Fixes.

  • Stereo DNN ROS -Knoten und Visualizer -Knoten hinzugefügt.
  • Problem mit Nvidia-Docker V2 behoben.

• 2018-09-19 : Updates zu Stereo DNN.

  • Bewegte sich nach Tensorrt 4.0
  • Aktivierte FP16 -Unterstützung im ResNet18 2D -Modell, was zu einer Leistung von 2x (20 fps auf Jetson TX2) führt.
  • Aktivierte Tensorrt -Serialisierung im ResNet18 2D -Modell, um die Modelllastzeit von Minuten auf weniger als eine Sekunde zu verkürzen.
  • Bessere Protokollierung und Profilerunterstützung.

• 2018-06-04 : CVPR 2018 Workshop. Schnelle Version von Stereo DNN.

  • Präsentation unserer Arbeit auf der CVPR 2018 Conference als Teil des Workshops über autonomes Fahren.
  • Eine schnelle Version des Stereo -DNN -Modells basierend auf dem ResNet18 2D -Modell hinzugefügt. Das Modell läuft bei Jetson TX2 bei 10 fps. Weitere Informationen finden Sie unter ReadMe und finden Sie aktualisierte Sample_App.

• GTC 2018 : Hier ist unsere Stereo DNN -Sitzungsseite bei GTC18 und die aufgenommene Videopräsentation

• 2018-03-22 : Redtail 2.0.

  • Stereo -DNN -Modelle und Inferenzbibliothek (Tensorflow/Tensorrt) hinzugefügt. Weitere Informationen finden Sie im Readme.
  • Migriert zu Jetpack 3.2. Diese Änderung bringt die neuesten Komponenten wie CUDA 9.0, CUDNN 7.0, Tensorrt 3.0, OpenCV 3.3 und andere an die Jetson -Plattform. Beachten Sie, dass dies eine brechende Veränderung ist.
  • Unterstützung für INT8 -Inferenz hinzugefügt. Dies ermöglicht eine schnelle Schlussfolgerung auf Geräte mit Hardware -Implementierung von INT8 -Anweisungen. Weitere Details finden Sie in unserem Wiki.

• 2018-02-15 : Unterstützung für die TBS-Discovery-Plattform.

  • Schritt für Schritt Anweisungen zum Zusammenstellen der TBS -Discovery -Drohne.
  • Anweisungen zum Anhängen und Verwenden einer Zed -Stereokamera.
  • Detaillierte Anweisungen zum Kalibrieren, Testen und Fliegen der Drohne.

• 2017-10-12 : Full Simulation Docker-Bild, experimentelle Unterstützung für APM Rover und Unterstützung für Mavros v0.21+hinzugefügt.

  • Redtail -Simulation Docker Image enthält alle Komponenten, die erforderlich sind, um eine vollständige Redtail -Simulation in Docker auszuführen. Weitere Informationen finden Sie in Wiki.
  • Experimentelle Unterstützung für APM Rover. Weitere Informationen finden Sie in Wiki.
  • Mehrere andere Änderungen, einschließlich der Unterstützung für Mavros v0.21+, aktualisiertes Jetson -Skript und wenige Fehlerbehebungen.

• 2017-09-07 : Das NVIDIA-Redtail-Projekt wird als Open-Source-Projekt veröffentlicht.

  Die KI -Module von Redtail ermöglichen es, autonome Drohnen und mobile Roboter auf der Grundlage von Deep Learning und NVIDIA Jetson TX1 und TX2 eingebettete Systeme zu erstellen. Quellcode, vorgeschriebene Modelle sowie detaillierte Build- und Testanweisungen werden auf GitHub veröffentlicht.

• 2017-07-26 : Migrierte Code und Skripte in Jetpack 3.1 mit Tensorrt 2.1.

  Tensorrt 2.1 bietet erhebliche Verbesserungen der DNN -Inferenzleistung sowie neue Funktionen und Fehlerbehebungen. Dies ist eine Breaking-Änderung, die Jetson mit Jetpack 3.1 neu fließen muss.