redtail

Nvidia Redtail项目

使用深度学习的无人机和地面车辆的自动视觉导航组件。有关如何入门的更多信息，请参阅Wiki。

该项目包含深层神经网络，计算机视觉和控制代码，硬件说明和其他工件，使用户能够构建无人机或地面车辆，该工具可以自动浏览高度非结构化的环境，例如森林小径，人行道，人行道等。导航正在NVIDIA的Jetson嵌入式平台上运行。我们的Arxiv论文详细介绍了Trailnet和其他运行时模块。

该项目的深神经网络（DNN）可以使用公开可用的数据从头开始训练。作为该项目的一部分，也可以提供一些预训练的DNN。如果您想从头开始训练Trailnet DNN，请按照此页面上的步骤操作。

该项目还包含立体DNN型号和运行时，可以估算NVIDIA平台上的立体声摄像机的深度。

IROS 2018 ：我们在IROS 2018会议上介绍了基于视觉的无人机的一部分：下一步是什么？车间。

CVPR 2018 ：我们在CVPR 2018会议上介绍了有关自动驾驶研讨会的一部分。

参考和演示

• 立体声DNN，CVPR18纸，立体DNN视频演示
• Trailnet Forest Drone导航，IROS17纸，Trailnet DNN视频演示
• GTC 2017演讲：幻灯片，视频
• 演示视频显示了2.5亿自动驾驶飞行，带拖车DNN飞行无人机
• 演示视频显示了我们1公里的自动无人机飞行与Trailnet DNN
• 演示视频显示Trailnet DNN在办公室周围驾驶机器人漫游车
• 演示视频，显示对地面车辆和其他环境的拖车概括

消息

• 2020-02-03 ：替代实现。不再开发Redtail ，但幸运的是，我们的社区介入并继续开发该项目。我们感谢用户对红尾，问题和反馈的兴趣！

  下面列出了一些替代实现。

  • @mtbsteve：https：//github.com/mtbsteve/redtail

• 2018-10-10 ：立体声DNN ROS节点和修复。

  • 添加了立体DNN ROS节点和可视化器节点。
  • NVIDIA-DOCKER V2解决了问题。

• 2018-09-19 ：立体声DNN的更新。

  • 移至Tensorrt 4.0
  • 启用了ResNet18 2D模型中的FP16支持，导致2倍性能提高（Jetson TX2上的20fps）。
  • 在ResNet18 2D模型中启用了Tensorrt序列化，以将模型加载时间从分钟减少到不到一秒钟。
  • 更好的伐木和参考器支持。

• 2018-06-04 ：CVPR 2018研讨会。快速版本的立体声DNN。

  • 作为自动驾驶研讨会的一部分，在CVPR 2018会议上介绍我们的作品。
  • 基于RESNET18 2D模型添加了快速版本的立体DNN模型。该型号在Jetson TX2上以10FPS运行。有关详细信息，请参见Readme，并查看更新的Sample_App。

• GTC 2018 ：这是我们在GTC18的立体DNN会话页面和录制的视频演示文稿

• 2018-03-22 ：Redtail 2.0。

  • 添加了立体DNN模型和推理库（TensorFlow/Tensorrt）。有关更多详细信息，请参见README。
  • 迁移到Jetpack 3.2。此更改将CUDA 9.0，CUDNN 7.0，TENSORRT 3.0，OPENCV 3.3等最新组件带入Jetson平台。请注意，这是一个破裂的变化。
  • 增加了对INT8推理的支持。这可以快速推断具有INT8指令的硬件实现的设备。更多细节在我们的Wiki上。

• 2018-02-15 ：对TBS Discovery平台的添加支持。

  • 逐步说明如何组装TBS Discovery Drone。
  • 有关如何连接和使用ZED立体声相机的说明。
  • 有关如何校准，测试和飞行无人机的详细说明。

• 2017-10-12 ：添加了完整的模拟Docker图像，对APM Rover的实验支持以及对Mavros V0.21+的支持。

  • Redtail Simulation Docker Image包含在Docker中运行完整的Redtail仿真所需的所有组件。有关更多信息，请参阅Wiki。
  • 对APM Rover的实验支持。有关更多信息，请参阅Wiki。
  • 其他几项更改，包括支持Mavros V0.21+，更新的Jetson安装脚本和一些错误修复。

• 2017-09-07 ：Nvidia Redtail项目作为开源项目发布。

  Redtail的AI模块允许基于深度学习和NVIDIA JETSON TX1和TX2嵌入式系统来构建自主无人机和移动机器人。源代码，预培训模型以及详细的构建和测试说明在GitHub上发布。

• 2017-07-26 ：带有Tensorrt 2.1的JetPack 3.1的迁移代码和脚本。

  Tensorrt 2.1在DNN推理性能以及新功能和错误修复方面提供了重大改进。这是一个打破的变化，需要用JetPack 3.1重新刷新Jetson。