redtail

Proyecto Nvidia Redtail

Componentes autónomos de navegación visual para drones y vehículos terrestres que utilizan un aprendizaje profundo. Consulte Wiki para obtener más información sobre cómo comenzar.

Este proyecto contiene redes neuronales profundas, visión por computadora y código de control, instrucciones de hardware y otros artefactos que permiten a los usuarios construir un dron o un vehículo terrestre que pueda navegar de forma autónoma a través de entornos altamente no estructurados como senderos forestales, aceras, etc. Nuestro Trailnet DNN para visual La navegación se ejecuta en la plataforma integrada de Nvidia Jetson. Nuestro artículo ARXIV describe TrailNet y otros módulos de tiempo de ejecución en detalle.

Las profundas redes neuronales (DNN) del proyecto se pueden capacitar desde cero utilizando datos públicos disponibles. Algunos DNN previamente entrenados también están disponibles como parte de este proyecto. En caso de que desee entrenar TrailNet DNN desde cero, siga los pasos de esta página.

El proyecto también contiene modelos DNN estéreo y tiempo de ejecución que permiten estimar la profundidad de la cámara estéreo en las plataformas NVIDIA.

IROS 2018 : Presentamos nuestro trabajo en la conferencia IROS 2018 como parte de los drones basados ​​en la visión: ¿qué sigue? taller.

CVPR 2018 : Presentamos nuestro trabajo en la conferencia CVPR 2018 como parte del taller sobre conducción autónoma.

Referencias y demostraciones

• Stereo DNN, CVPR18 Paper, Demo de video Stereo DNN
• Trailnet Forest Drone Navigation, IROS17 Paper, Trailnet DNN Video Demo
• Talk GTC 2017: diapositivas, video
• Video de demostración que muestra un vuelo autónomo de 250 m con Trailnet DNN volando el dron
• Video de demostración que muestra nuestro vuelo de drones autónomo de 1 kilómetro con Trailnet DNN
• Video de demostración que muestra Trailnet DNN conduciendo un rover robótico alrededor de la oficina
• Video de demostración que muestra la generalización de Trailnet a vehículos terrestres y otros entornos

Noticias

• 2020-02-03 : Implementaciones alternativas. Redtail ya no se está desarrollando, pero afortunadamente nuestra comunidad intervino y continuó desarrollando el proyecto. ¡Agradecemos a nuestros usuarios por el interés en Redtail , preguntas y comentarios!

  Algunas implementaciones alternativas se enumeran a continuación.

  • @mtbsteve: https://github.com/mtbsteve/redtail

• 2018-10-10 : Nodo Stereo DNN ROS y soluciones.

  • Se agregó el nodo estereo DNN ROS y el nodo visualizador.
  • Se solucionó el problema con Nvidia-Docker V2.

• 2018-09-19 : Actualizaciones de DNN estéreo.

  • Movido a Tensorrt 4.0
  • Soporte de FP16 habilitado en el modelo ResNet18 2D , lo que resulta en un aumento de rendimiento de 2x (20 fps en Jetson TX2).
  • Serialización de Tensorrt habilitado en el modelo ResNet18 2D para reducir el tiempo de carga del modelo de minutos a menos de un segundo.
  • Mejor registro y soporte de perfiladores.

• 2018-06-04 : Taller CVPR 2018. Versión rápida de Stereo DNN.

  • Presentar nuestro trabajo en la conferencia CVPR 2018 como parte del taller sobre conducción autónoma.
  • Se agregó la versión rápida del modelo DNN estéreo basado en el modelo 2D resnet18. El modelo se ejecuta a 10 fps en Jetson TX2. Consulte ReadMe para obtener más detalles y consulte Sample_App actualizado.

• GTC 2018 : Aquí está nuestra página de sesión de DNN estéreo en GTC18 y la presentación de video grabada

• 2018-03-22 : Redtail 2.0.

  • Se agregaron modelos DNN estéreo y biblioteca de inferencia (TensorFlow/Tensorrt). Para más detalles, consulte el ReadMe.
  • Migró a Jetpack 3.2. Este cambio trae los últimos componentes como Cuda 9.0, Cudnn 7.0, Tensorrt 3.0, OpenCV 3.3 y otros a la plataforma Jetson. Tenga en cuenta que este es un cambio de ruptura.
  • Soporte agregado para la inferencia INT8. Esto permite una inferencia rápida en dispositivos que tienen implementación de hardware de las instrucciones INT8. Más detalles están en nuestra wiki.

• 2018-02-15 : Soporte agregado para la plataforma TBS Discovery.

  • Instrucciones paso a paso sobre cómo ensamblar el dron TBS Discovery.
  • Instrucciones sobre cómo adjuntar y usar una cámara estéreo Zed.
  • Instrucciones detalladas sobre cómo calibrar, probar y volar el dron.

• 2017-10-12 : Se agregó una imagen de Docker de simulación completa, soporte experimental para APM Rover y soporte para Mavros V0.21+.

  • La imagen de Docker de simulación Redtail contiene todos los componentes necesarios para ejecutar la simulación Redtail completa en Docker. Consulte Wiki para obtener más información.
  • Apoyo experimental para APM Rover. Consulte Wiki para obtener más información.
  • Varios otros cambios, incluido el soporte para Mavros V0.21+, el script de instalación de Jetson actualizado y pocas correcciones de errores.

• 2017-09-07 : el proyecto Nvidia Redtail se publica como un proyecto de código abierto.

  Los módulos AI de Redtail permiten construir drones autónomos y robots móviles basados ​​en el aprendizaje profundo y los sistemas integrados de Nvidia Jetson TX1 y TX2. El código fuente, los modelos previamente capacitados, así como las instrucciones detalladas de compilación y prueba, se lanzan en GitHub.

• 2017-07-26 : Código migrado y scripts a Jetpack 3.1 con Tensorrt 2.1.

  Tensorrt 2.1 proporciona mejoras significativas en el rendimiento de la inferencia de DNN, así como nuevas características y correcciones de errores. Este es un cambio de ruptura que requiere volver a flotar a Jetson con Jetpack 3.1.