NVIDIA annonce que son équipe de recherche a développé un nouveau réseau de neurones appelé Hover (Humanoid Multifonction Controller), un réseau neuronal petit mais efficace avec seulement 1,5 million de paramètres dédiés au contrôle du mouvement et du fonctionnement des robots humanoïdes. Ce qui est unique dans le plan de survol, c'est sa capacité à capturer des processus subconscients dans le mouvement humain, permettant aux robots d'effectuer des tâches complexes sans programmation lourde, qui est une percée significative dans le domaine du contrôle des robots. Son processus de formation efficace est également impressionnant.
的研究团队宣布了一项令人兴奋的进展，他们开发了一种名为HOVER（人形多功能控制器）的新型神经网络。 Ce réseau neuronal a 1,5 million de paramètres et est spécifiquement conçu pour coordonner le mouvement et le fonctionnement de robots humanoïdes.
"Tous les modèles de base ne doivent pas être énormes. Le réseau neuronal des paramètres de 1,5 m que nous avons formé est conçu pour contrôler le corps d'un robot humanoïde." Le robot pour effectuer des tâches complexes sans programmation lourde. Il a mentionné que «les humains ont besoin de beaucoup de traitement subconscient lors de la marche, de l'équilibre et de la manipulation de leurs membres de manière flexible.»
Pendant le processus de formation, Hover a utilisé la plate-forme de simulation Isaac de Nvidia, qui peut accélérer la simulation physique à une vitesse de 10 000 fois celle du temps réel.
Jim Fan a révélé que le modèle a été formé dans un environnement virtuel pendant un an et n'a pris qu'environ 50 minutes de temps réel, ce qui se fait sur un seul GPU. Il a déclaré que cette formation efficace permet de transférer en douceur les réseaux de neurones vers des applications réelles sans réglage fin.
Hover a la capacité de répondre à une variété d'instructions de mouvement de haut niveau, notamment le contrôle de la posture de la tête et de la main en utilisant des appareils XR tels que la vision Pro d'Apple, ou l'obtention de postures du corps en plein air par la capture de mouvement et les caméras RVB, et même les articulations des exosquelettes . Fan a souligné que Hover fournit une interface unifiée pour les robots qui contrôlent différents périphériques d'entrée, facilitant ainsi la collecte de données opérationnelles à distance pour la formation.
De plus, Hover est intégré à des modèles d'action visuelle en amont, permettant aux instructions de mouvement d'être converties en signaux moteurs de bas niveau à haute fréquence. Ce modèle est compatible avec tout robot humanoïde qui peut être simulé à Isaac, permettant aux utilisateurs de donner facilement la vie du robot.
Au début de cette année, Nvidia a également annoncé un projet appelé GR00T, un modèle à usage général conçu pour les robots humanoïdes. Les robots propulsés par GR00T (Generalist Robot00Technology) peuvent comprendre le langage naturel et imiter les mouvements humains en observant des actions, ce qui leur permet d'apprendre rapidement la coordination, la flexibilité et d'autres compétences nécessaires pour interagir efficacement dans le monde réel.
URL du papier: https://arxiv.org/pdf/2410.21229
Points clés:
- Nvidia lance Hover, un réseau neuronal de paramètres de 1,5 million conçu pour contrôler le mouvement et le fonctionnement de robots humanoïdes.
- ⏳ Rover s'est formé dans un environnement virtuel pendant un an, et le temps de formation réel n'était que de 50 minutes, ce qui a amélioré l'efficacité des applications réelles.
- Hover prend en charge une variété d'instructions de mouvement de haut niveau, peut fonctionner en collaboration avec différents dispositifs d'entrée et fournit une interface unifiée pour le contrôle des robots.
L'émergence de volants marque un saut majeur dans la technologie de contrôle des robots humanoïdes. Nous attendons avec impatience cette technologie apportant à l'avenir des applications et des innovations plus passionnantes.