redtail

Projeto Nvidia Redtail

Componentes autônomos de navegação visual para drones e veículos moídos usando aprendizado profundo. Consulte o Wiki para obter mais informações sobre como começar.

Este projeto contém redes neurais profundas, visão computacional e código de controle, instruções de hardware e outros artefatos que permitem aos usuários construir um drone ou um veículo moído que possa navegar autonomamente por ambientes altamente não estruturados, como trilhas florestais, calçadas, etc. Nosso DNN de trilhas para visual A navegação está sendo executada na plataforma incorporada de Jetson da NVIDIA. Nosso artigo ARXIV descreve o TrailNet e outros módulos de tempo de execução em detalhes.

As redes neurais profundas (DNNs) do projeto podem ser treinadas do zero usando dados disponíveis ao público. Alguns DNNs pré-treinados também estão disponíveis como parte deste projeto. Caso você queira treinar o DNN do TrailNet do zero, siga as etapas nesta página.

O projeto também contém modelos estéreo DNN e tempo de execução que permitem estimar a profundidade da câmera estéreo nas plataformas NVIDIA.

IROS 2018 : Apresentamos nosso trabalho na conferência do IROS 2018 como parte dos drones baseados na visão: o que vem a seguir? oficina.

CVPR 2018 : Apresentamos nosso trabalho na conferência CVPR 2018 como parte do workshop sobre direção autônoma.

Referências e demos

• Estéreo dnn, papel cvpr18, demonstração de vídeo estéreo dnn
• Navegação por drones da floresta trilha, papel Iros17, Demoção de vídeo da trilha DNN
• GTC 2017 Talk: slides, vídeo
• Vídeo de demonstração mostrando o vôo autônomo de 250m com o TrailNet DNN pilotando o drone
• Vídeo de demonstração mostrando nosso voo de drones autônomos de 1 quilômetro com o TrailNet DNN
• Vídeo de demonstração mostrando o TrailNet DNN dirigindo um rover robótico pelo escritório
• Vídeo de demonstração mostrando a generalização da trilha para veículos moídos e outros ambientes

Notícias

• 2020-02-03 : implementações alternativas. O Redtail não está mais sendo desenvolvido, mas felizmente nossa comunidade interveio e continuou desenvolvendo o projeto. Agradecemos aos nossos usuários pelo interesse em redação , perguntas e feedback!

  Algumas implementações alternativas estão listadas abaixo.

  • @mtbsteve: https://github.com/mtbsteve/redtail

• 2018-10-10 : Nó e correções estéreo DNN ROS.

  • Adicionado nó estéreo DNN ROS e nó do visualizador.
  • Corrigido o problema com o NVIDIA-Docker V2.

• 2018-09-19 : Atualizações para o estéreo DNN.

  • Movido para Tensorrt 4.0
  • Suporte ao FP16 ativado no modelo ResNet18 2D , resultando em aumento de desempenho 2x (20fps no Jetson TX2).
  • Ativado a serialização do Tensorrt no modelo ResNet18 2D para reduzir o tempo de carregamento do modelo de minutos para menos de um segundo.
  • Melhor log e suporte ao perfil.

• 2018-06-04 : Workshop CVPR 2018. Versão rápida do estéreo DNN.

  • Apresentando nosso trabalho na conferência CVPR 2018 como parte do workshop sobre direção autônoma.
  • Versão rápida adicionada do modelo estéreo DNN com base no modelo Resnet18 2D. O modelo é executado a 10fps no Jetson TX2. Consulte ReadMe para obter detalhes e confira amostra atualizada.

• GTC 2018 : Aqui está a nossa página de sessão estéreo DNN no GTC18 e a apresentação de vídeo gravada

• 2018-03-22 : Redtail 2.0.

  • Modelos estéreo DNN adicionados e biblioteca de inferência (Tensorflow/Tensorrt). Para mais detalhes, consulte o ReadMe.
  • Migrou para o JetPack 3.2. Essa mudança traz os componentes mais recentes como CUDA 9.0, CUDNN 7.0, Tensorrt 3.0, OpenCV 3.3 e outros para a plataforma Jetson. Observe que isso é uma mudança de quebra.
  • Adicionado suporte para inferência INT8. Isso permite uma rápida inferência em dispositivos que possuem implementação de hardware das instruções INT8. Mais detalhes estão no nosso wiki.

• 2018-02-15 : Adicionado suporte à plataforma de descoberta TBS.

  • Instruções passo a passo sobre como montar o drone TBS Discovery.
  • Instruções sobre como anexar e usar uma câmera estéreo Zed.
  • Instruções detalhadas sobre como calibrar, testar e voar o drone.

• 2017-10-12 : Adicionada imagem completa do Docker de simulação, suporte experimental ao Rover APM e suporte ao Mavros v0.21+.

  • A imagem do Docker da Redtail Simulation contém todos os componentes necessários para executar a simulação Redtail completa no Docker. Consulte o Wiki para obter mais informações.
  • Suporte experimental ao APM Rover. Consulte o Wiki para obter mais informações.
  • Várias outras alterações, incluindo suporte ao Mavros v0.21+, script de instalação do Jetson atualizado e poucas correções de bugs.

• 2017-09-07 : O projeto NVIDIA Redtail é lançado como um projeto de código aberto.

  Os módulos de AI da Redtail permitem a construção de drones autônomos e robôs móveis com base em aprendizado profundo e sistemas incorporados NVIDIA Jetson TX1 e TX2. Código-fonte, modelos pré-treinados e instruções detalhadas de compilação e teste são lançadas no GitHub.

• 2017-07-26 : Código migrado e scripts para o JetPack 3.1 com Tensorrt 2.1.

  O Tensorrt 2.1 fornece melhorias significativas no desempenho da inferência DNN, bem como novos recursos e correções de bugs. Esta é uma mudança de ruptura que requer o reflexo do Jetson com o JetPack 3.1.