Recientemente, se han logrado avances significativos en el campo de la inteligencia artificial. Investigadores de la UCLA y otras instituciones han desarrollado con éxito el modelo de inteligencia incorporada a gran escala MultiPLY, que marca un paso sólido hacia la inteligencia artificial general (AGI). MultiPLY no sólo tiene capacidades de detección multimodal, incluido el tacto, la visión y el oído, sino que, lo que es más importante, puede interactuar de manera más completa con el entorno 3D y demostrar potentes capacidades en aplicaciones prácticas. El resultado de esta investigación y el conjunto de datos multisensoriales a gran escala que lo respalda, el Universo Multisensorial, proporcionan recursos valiosos y nuevas direcciones para el desarrollo futuro de la inteligencia artificial.
Recientemente, investigadores de UCLA y otras instituciones lanzaron MultiPLY, un gran modelo de inteligencia incorporada. Este modelo no solo tiene capacidades de percepción multimodal, incluido el tacto, la visión, la audición, etc., lo que permite a la IA interactuar con el entorno 3D de manera más integral. Al interactuar con el entorno 3D a través del agente, MultiPLY funciona bien en experimentos como recuperación de objetos, uso de herramientas, anotación multisensorial y descomposición de tareas. Además, los investigadores crearon un conjunto de datos multisensoriales a gran escala Multisensory-Universe, que contiene 500.000 datos. Esta investigación proporciona nuevas ideas para construir modelos grandes con capacidades multisensoriales y proporciona una nueva dirección para realizar AGI.La aparición de MultiPLY no sólo demuestra la importancia de la percepción multimodal y la inteligencia incorporada en el desarrollo de la inteligencia artificial, sino que también proporciona nuevos caminos técnicos y soporte de datos para construir sistemas de IA más inteligentes y potentes en el futuro. Se cree que con el avance continuo de la tecnología, los grandes modelos inteligentes incorporados como MultiPLY desempeñarán un papel en más campos y brindarán mayor comodidad y progreso a la sociedad humana. Esperamos que en el futuro surjan más resultados de investigaciones similares.