redtail

Proyek Redtail Nvidia

Komponen navigasi visual otonom untuk drone dan kendaraan darat menggunakan pembelajaran mendalam. Lihat Wiki untuk informasi lebih lanjut tentang cara memulai.

Proyek ini berisi jaringan saraf yang dalam, visi komputer dan kode kontrol, instruksi perangkat keras dan artefak lain yang memungkinkan pengguna untuk membangun drone atau kendaraan darat yang dapat secara mandiri menavigasi melalui lingkungan yang sangat tidak terstruktur seperti jalur hutan, trotoar, dll. Trailnet DNN kami untuk visual Navigasi berjalan di platform tertanam Jetson Nvidia. Makalah Arxiv kami menjelaskan Trailnet dan modul runtime lainnya secara rinci.

Jaringan saraf dalam proyek (DNN) dapat dilatih dari awal menggunakan data yang tersedia untuk umum. Beberapa DNN pra-terlatih juga tersedia sebagai bagian dari proyek ini. Jika Anda ingin melatih Trailnet DNN dari awal, ikuti langkah -langkah pada halaman ini.

Proyek ini juga berisi model DNN stereo dan runtime yang memungkinkan untuk memperkirakan kedalaman dari kamera stereo pada platform NVIDIA.

IROS 2018 : Kami mempresentasikan karya kami di konferensi IROS 2018 sebagai bagian dari drone berbasis visi: apa selanjutnya? bengkel.

CVPR 2018 : Kami mempresentasikan karya kami di konferensi CVPR 2018 sebagai bagian dari lokakarya mengemudi otonom.

Referensi dan demo

• Stereo DNN, Kertas CVPR18, Demo Video Stereo DNN
• Navigasi Drone Hutan Trailnet, kertas IROS17, demo video Trailnet DNN
• GTC 2017 Talk: Slide, Video
• Video demo yang menunjukkan penerbangan otonom 250m dengan Trailnet DNN menerbangkan drone
• Video demo yang menunjukkan penerbangan drone otonom 1 kilometer kami dengan Trailnet DNN
• Video demo yang menunjukkan Trailnet DNN mengendarai bajak robot di sekitar kantor
• Video demo yang menunjukkan generalisasi trailnet ke kendaraan darat dan lingkungan lainnya

Berita

• 2020-02-03 : Implementasi Alternatif. Redtail tidak lagi dikembangkan, tetapi untungnya komunitas kami masuk dan terus mengembangkan proyek. Kami berterima kasih kepada pengguna kami atas minat Redtail , pertanyaan, dan umpan balik!

  Beberapa implementasi alternatif tercantum di bawah ini.

  • @MTBSTEVE: https://github.com/mtbsteve/redtail

• 2018-10-10 : Stereo DNN ROS Node and Fixes.

  • Menambahkan simpul stereo dnn ros dan node visualizer.
  • Memperbaiki masalah dengan Nvidia-Docker V2.

• 2018-09-19 : Pembaruan untuk Stereo DNN.

  • Dipindahkan ke Tensorrt 4.0
  • Dukungan FP16 yang diaktifkan dalam model ResNet18 2D , menghasilkan peningkatan kinerja 2X (20fps pada Jetson TX2).
  • Diaktifkan serialisasi TensorRT dalam model ResNet18 2D untuk mengurangi waktu pemuatan model dari menit menjadi kurang dari satu detik.
  • Dukungan logging dan profiler yang lebih baik.

• 2018-06-04 : CVPR 2018 Workshop. Versi cepat stereo DNN.

  • Mempresentasikan pekerjaan kami di konferensi CVPR 2018 sebagai bagian dari lokakarya tentang mengemudi otonom.
  • Menambahkan versi cepat model stereo DNN berdasarkan model resnet18 2D. Model berjalan pada 10fps di Jetson TX2. Lihat README untuk detailnya dan periksa sample_app yang diperbarui.

• GTC 2018 : Ini adalah halaman sesi Stereo DNN kami di GTC18 dan presentasi video yang direkam

• 2018-03-22 : Redtail 2.0.

  • Menambahkan model stereo DNN dan perpustakaan inferensi (TensorFlow/TensorRT). Untuk detail lebih lanjut, lihat readme.
  • Bermigrasi ke Jetpack 3.2. Perubahan ini membawa komponen terbaru seperti CUDA 9.0, Cudnn 7.0, Tensorrt 3.0, OpenCV 3.3 dan lainnya ke Platform Jetson. Perhatikan bahwa ini adalah perubahan yang melanggar.
  • Menambahkan dukungan untuk inferensi int8. Ini memungkinkan inferensi cepat pada perangkat yang memiliki implementasi perangkat keras instruksi INT8. Rincian lebih lanjut ada di wiki kami.

• 2018-02-15 : Dukungan tambahan untuk platform TBS Discovery.

  • Instruksi langkah demi langkah tentang cara merakit drone penemuan TBS.
  • Instruksi tentang cara memasang dan menggunakan kamera stereo zed.
  • Instruksi terperinci tentang cara mengkalibrasi, menguji dan menerbangkan drone.

• 2017-10-12 : Menambahkan gambar Docker simulasi penuh, dukungan eksperimental untuk APM Rover dan dukungan untuk Mavros v0.21+.

  • Simulasi Redtail Gambar Docker berisi semua komponen yang diperlukan untuk menjalankan simulasi redtail penuh di Docker. Lihat wiki untuk informasi lebih lanjut.
  • Dukungan eksperimental untuk APM Rover. Lihat wiki untuk informasi lebih lanjut.
  • Beberapa perubahan lain termasuk dukungan untuk Mavros v0.21+, yang diperbarui Jetson Install Script dan beberapa perbaikan bug.

• 2017-09-07 : Proyek NVIDIA Redtail dirilis sebagai proyek open source.

  Modul AI Redtail memungkinkan membangun drone otonom dan robot seluler berdasarkan pada pembelajaran yang mendalam dan sistem tertanam NVIDIA Jetson TX1 dan TX2. Kode sumber, model pra-terlatih serta instruksi build dan tes terperinci dirilis pada GitHub.

• 2017-07-26 : Kode dan skrip yang dimigrasi ke Jetpack 3.1 dengan Tensorrt 2.1.

  Tensorrt 2.1 memberikan peningkatan yang signifikan dalam kinerja inferensi DNN serta fitur baru dan perbaikan bug. Ini adalah perubahan yang melanggar yang membutuhkan jetson yang mengarahkan kembali dengan Jetpack 3.1.