Récemment, des progrès significatifs ont été réalisés dans le domaine de l'intelligence artificielle. Des chercheurs de l'UCLA et d'autres institutions ont développé avec succès le grand modèle d'intelligence incorporée MultiPLY, qui marque une étape solide vers l'intelligence artificielle générale (AGI). MultiPLY possède non seulement des capacités de détection multimodales, notamment le toucher, la vision et l'audition, mais, plus important encore, il peut interagir de manière plus complète avec l'environnement 3D et démontrer de puissantes capacités dans des applications pratiques. Ce résultat de recherche et l’ensemble de données multisensorielles à grande échelle Multisensory-Universe qui le soutient fournissent des ressources précieuses et de nouvelles orientations pour le développement futur de l’intelligence artificielle.
Récemment, des chercheurs de l'UCLA et d'autres institutions ont lancé MultiPLY, un vaste modèle d'intelligence incarnée. Ce modèle possède non seulement des capacités de perception multimodale, notamment le toucher, la vision, l'audition, etc., permettant à l'IA d'interagir de manière plus complète avec l'environnement 3D. En interagissant avec l'environnement 3D via l'agent, MultiPLY fonctionne bien dans des expériences telles que la récupération d'objets, l'utilisation d'outils, l'annotation multisensorielle et la décomposition de tâches. En outre, les chercheurs ont créé un ensemble de données multisensorielles à grande échelle, Multisensory-Universe, qui contient 500 000 éléments de données. Cette recherche fournit de nouvelles idées pour construire de grands modèles dotés de capacités multisensorielles et ouvre une nouvelle direction pour réaliser l’AGI.L'émergence de MultiPLY prouve non seulement l'importance de la perception multimodale et de l'intelligence incorporée dans le développement de l'intelligence artificielle, mais offre également de nouvelles voies techniques et un support de données pour construire des systèmes d'IA plus intelligents et plus puissants à l'avenir. On pense qu’avec les progrès continus de la technologie, de grands modèles intelligents incarnés comme MultiPLY joueront un rôle dans davantage de domaines et apporteront plus de commodité et de progrès à la société humaine. Nous espérons que d’autres résultats de recherche similaires apparaîtront à l’avenir.