Une équipe de recherche de l'Université de Californie, de San Diego et du MIT a récemment lancé un projet de système d'exploitation à distance open source appelé Open-Television, une technologie qui peut être considérée comme une percée révolutionnaire dans le domaine de la télécommande. Le système peut réaliser un contrôle précis des robots à 3 000 miles de là, ce qui fait que l'opérateur a l'impression qu'il est dans la scène dans le film de science-fiction "Avatar", et réalise le contrôle à distance du monde physique grâce à la technologie de la réalité virtuelle.
Le système de télévision en plein air démontre une excellente compatibilité des appareils et prend en charge une variété de périphériques, notamment Vision Pro, Série Quest, Mac, iPad et iPhone. Son avantage principal réside dans la technologie de streaming vidéo tridimensionnelle en temps réel, qui offre aux utilisateurs une perception spatiale précise et des informations approfondies, ce qui rend l'expérience de télécommande aussi fluide et naturelle que les nuages fluides. Cette fonction de connexion multiplateforme transparente réduit considérablement le seuil d'utilisation des utilisateurs et ouvre la voie à la popularisation et à l'application de la technologie de télécommande.
Le concept principal de ce système est d'obtenir une immersion profonde de l'interaction humaine-ordinateur par le biais de la technologie de la réalité virtuelle. Les utilisateurs n'ont qu'à porter des casques VR pour obtenir une télécommande du robot sans autres appareils portables complexes. Le système simule intelligemment le mécanisme de vision stéréoscopique binoculaire humain et de mouvement du cou, permettant à l'opérateur d'avoir une expérience de contrôle "immersive" et élève l'interaction humaine-ordinateur à un tout nouveau niveau.
En termes de mise en œuvre technologique, le système de télévision en plein air a montré de nombreux faits saillants innovants. Premièrement, il perturbe les limites de la vidéo 2D traditionnelle et présente une vidéo stéréoscopique 3D via des casques VR, offrant aux opérateurs une perception précise de la distance spatiale. Deuxièmement, le système est équipé d'un mécanisme de simulation de cou en mouvement, et les utilisateurs peuvent observer sous plusieurs angles en tournant simplement la tête, améliorant considérablement la commodité du contrôle. De plus, le système adopte une technologie de traitement d'image intelligente et se concentre sur le traitement au centre de l'image, ce qui améliore considérablement l'efficacité informatique et la fréquence d'images du système.
En termes de méthodes de mise en œuvre spécifiques, le système adopte des algorithmes de cinématique inverse avancés pour cartographier avec précision l'API fournie par le casque VR au robot pour obtenir une transmission précise des actions. La conception d'architecture basée sur la plate-forme Web permet au système d'accéder sur le navigateur de n'importe quel appareil à tout moment, n'importe où, en réalisant une expérience de fonctionnement à distance à faible latence et à haute efficacité.
En réponse aux défis techniques dans le domaine de l'exploitation à distance, le système de télévision ouverte fournit des solutions innovantes. Grâce au processus de cartographie, le système résout efficacement le problème de la décalage entre les robots humanoïdes et les degrés de liberté humaine, et réalise une adaptation généralisée à divers types de robots. Dans le même temps, le système utilise le fonctionnement à distance pour collecter des données de formation, ce qui améliore considérablement la capacité d'achèvement des tâches autonomes du robot et permet au système de montrer une excellente capacité de fiabilité et de généralisation.
Le projet a été ouvert sur la plate-forme GitHub, avec l'adresse du projet sur https://github.com/improbable-ai/visionproteleop, fournissant une référence précieuse pour la recherche et l'application de la technologie de télécommande. Le lancement du système de télévision en plein air démontre non seulement l'intégration parfaite de la technologie de la réalité virtuelle et de la technologie robotique, mais ouvre également de nouvelles directions pour le développement de la télécommande, et devrait jouer un rôle important dans de nombreux domaines tels que la fabrication industrielle , chirurgie médicale et opérations environnementales dangereuses.