redtail

Nvidia Redtail項目

使用深度學習的無人機和地面車輛的自動視覺導航組件。有關如何入門的更多信息，請參閱Wiki。

該項目包含深層神經網絡，計算機視覺和控制代碼，硬件說明和其他工件，使用戶能夠構建無人機或地面車輛，該工具可以自動瀏覽高度非結構化的環境，例如森林小徑，人行道，人行道等。導航正在NVIDIA的Jetson嵌入式平台上運行。我們的Arxiv論文詳細介紹了Trailnet和其他運行時模塊。

該項目的深神經網絡（DNN）可以使用公開可用的數據從頭開始訓練。作為該項目的一部分，也可以提供一些預訓練的DNN。如果您想從頭開始訓練Trailnet DNN，請按照此頁面上的步驟操作。

該項目還包含立體DNN型號和運行時，可以估算NVIDIA平台上的立體聲攝像機的深度。

IROS 2018 ：我們在IROS 2018會議上介紹了基於視覺的無人機的一部分：下一步是什麼？車間。

CVPR 2018 ：我們在CVPR 2018會議上介紹了有關自動駕駛研討會的一部分。

參考和演示

• 立體聲DNN，CVPR18紙，立體DNN視頻演示
• Trailnet Forest Drone導航，IROS17紙，Trailnet DNN視頻演示
• GTC 2017演講：幻燈片，視頻
• 演示視頻顯示了2.5億自動駕駛飛行，帶拖車DNN飛行無人機
• 演示視頻顯示了我們1公里的自動無人機飛行與Trailnet DNN
• 演示視頻顯示Trailnet DNN在辦公室周圍駕駛機器人漫遊車
• 演示視頻，顯示對地面車輛和其他環境的拖車概括

消息

• 2020-02-03 ：替代實現。不再開發Redtail ，但幸運的是，我們的社區介入並繼續開發該項目。我們感謝用戶對紅尾，問題和反饋的興趣！

  下面列出了一些替代實現。

  • @mtbsteve：https：//github.com/mtbsteve/redtail

• 2018-10-10 ：立體聲DNN ROS節點和修復。

  • 添加了立體DNN ROS節點和可視化器節點。
  • NVIDIA-DOCKER V2解決了問題。

• 2018-09-19 ：立體聲DNN的更新。

  • 移至Tensorrt 4.0
  • 啟用了ResNet18 2D模型中的FP16支持，導致2倍性能提高（Jetson TX2上的20fps）。
  • 在ResNet18 2D模型中啟用了Tensorrt序列化，以將模型加載時間從分鐘減少到不到一秒鐘。
  • 更好的伐木和參考器支持。

• 2018-06-04 ：CVPR 2018研討會。快速版本的立體聲DNN。

  • 作為自動駕駛研討會的一部分，在CVPR 2018會議上介紹我們的作品。
  • 基於RESNET18 2D模型添加了快速版本的立體DNN模型。該型號在Jetson TX2上以10FPS運行。有關詳細信息，請參見Readme，並查看更新的Sample_App。

• GTC 2018 ：這是我們在GTC18的立體DNN會話頁面和錄製的視頻演示文稿

• 2018-03-22 ：Redtail 2.0。

  • 添加了立體DNN模型和推理庫（TensorFlow/Tensorrt）。有關更多詳細信息，請參見README。
  • 遷移到Jetpack 3.2。此更改將CUDA 9.0，CUDNN 7.0，TENSORRT 3.0，OPENCV 3.3等最新組件帶入Jetson平台。請注意，這是一個破裂的變化。
  • 增加了對INT8推理的支持。這可以快速推斷具有INT8指令的硬件實現的設備。更多細節在我們的Wiki上。

• 2018-02-15 ：對TBS Discovery平台的添加支持。

  • 逐步說明如何組裝TBS Discovery Drone。
  • 有關如何連接和使用ZED立體聲相機的說明。
  • 有關如何校準，測試和飛行無人機的詳細說明。

• 2017-10-12 ：添加了完整的模擬Docker圖像，對APM Rover的實驗支持以及對Mavros V0.21+的支持。

  • Redtail Simulation Docker Image包含在Docker中運行完整的Redtail仿真所需的所有組件。有關更多信息，請參閱Wiki。
  • 對APM Rover的實驗支持。有關更多信息，請參閱Wiki。
  • 其他幾項更改，包括支持Mavros V0.21+，更新的Jetson安裝腳本和一些錯誤修復。

• 2017-09-07 ：Nvidia Redtail項目作為開源項目發布。

  Redtail的AI模塊允許基於深度學習和NVIDIA JETSON TX1和TX2嵌入式系統來構建自主無人機和移動機器人。源代碼，預培訓模型以及詳細的構建和測試說明在GitHub上發布。

• 2017-07-26 ：帶有Tensorrt 2.1的JetPack 3.1的遷移代碼和腳本。

  Tensorrt 2.1在DNN推理性能以及新功能和錯誤修復方面提供了重大改進。這是一個打破的變化，需要用JetPack 3.1重新刷新Jetson。