Durante mucho tiempo, el movimiento ágil de los robots humanoides ha sido un gran desafío en el campo de la investigación de robots. Las diferencias físicas entre el entorno simulado y el mundo real dificultan que los robots apliquen directamente los resultados del entrenamiento de simulación a la realidad. Este artículo presenta un nuevo marco llamado ASAP (alineando la simulación y la física real), que resuelve efectivamente este problema alineando inteligentemente la simulación y las características físicas reales, lo que permite a los robots humanoides lograr un movimiento de cuerpo completo más flexible y coordinado.
Durante mucho tiempo, la gente ha soñado que los robots humanoides pueden ser tan flexibles como los humanos e incluso superar a los humanos. Sin embargo, debido a las diferencias físicas entre el entorno simulado y el mundo real, lograr la coordinación de cuerpo completo y el movimiento ágil del robot sigue siendo un gran desafío. Los métodos tradicionales de identificación del sistema y aleatorización del dominio a menudo dependen de ajustes de parámetros engorrosos, o conducen a que los movimientos de robots sean demasiado conservadores, sacrificando la agilidad. Ahora, surge un nuevo marco llamado ASAP (alineando la simulación y la física real).
El marco ASAP se divide en dos etapas clave. Primero, durante la fase de pre-entrenamiento, los investigadores utilizarán datos de video de movimiento humano para reasignar estas acciones en el robot humanoide y luego entrenar al robot para aprender estas acciones en un entorno simulado. Sin embargo, la aplicación de las estrategias capacitadas en el entorno simulado a robots reales directamente a menudo conducirá a la degradación del rendimiento porque existen diferencias dinámicas entre el entorno simulado y el mundo real. Para resolver este problema, el marco ASAP ingresa a la segunda fase: la fase posterior a la capacitación. En esta etapa, los investigadores le pedirán al robot que realice acciones previamente capacitadas en el mundo real y registre la trayectoria de movimiento real del robot.
A continuación, el marco ASAP utilizará estos datos de movimiento del mundo real para reproducir el movimiento del robot en el simulador. Debido a las diferencias en el entorno simulado y el mundo real, la trayectoria de movimiento simulada a menudo se desvía de la trayectoria del movimiento real. Esta diferencia solo proporciona a los investigadores una señal para aprender. ASAP entrena un "modelo de acción de diferencia" que aprende y compensa las diferencias dinámicas entre la simulación y la realidad. Este modelo es como una "corrección de errores" que puede corregir las deficiencias en el simulador y acercarlas a las características físicas del mundo real. Finalmente, los investigadores integrarán este "modelo de acción de diferencia" en el simulador y lo usarán para ajustar la estrategia de seguimiento de movimiento previamente capacitado, para que los movimientos del robot puedan adaptarse mejor a las propiedades físicas del mundo real. La estrategia ajustada se puede implementar directamente en robots del mundo real sin la necesidad de usar el "modelo de acción de diferencia".
Para verificar la efectividad del marco ASAP, los investigadores realizaron varios experimentos, incluida la migración entre diferentes simuladores y pruebas en el robot humanoidal Real Unitree G1. Los resultados experimentales muestran que el marco ASAP mejora significativamente la agilidad y la coordinación de todo el cuerpo de los robots en varios movimientos dinámicos en comparación con los métodos de aprendizaje de la aleación de dominio y la diferencia de la diferencia.
El éxito del marco ASAP es que puede cerrar efectivamente las diferencias dinámicas entre el entorno simulado y el mundo real, de modo que los robots humanoides entrenados en el entorno simulado realmente pueden demostrar una excelente agilidad en el mundo real, lo que hace que el desarrollo sea más flexible y el El robot humanoide multifuncional señala una nueva dirección.
Las tecnologías clave del marco ASAP incluyen:
Pre-capacitación utilizando datos de movimiento humano: convierta los movimientos ágiles humanos en objetivos de aprendizaje de robots para proporcionar a los robots datos de movimiento de alta calidad.
Entrenamiento de modelos de acción diferencial: al aprender las diferencias entre el mundo real y el entorno de simulación, compensar dinámicamente las deficiencias del simulador y mejorar la precisión de la simulación.
Estrategia ajustada basada en modelos de acción diferencial: permite que las estrategias de robot se adapten a las características físicas del mundo real y, en última instancia, logren un mayor rendimiento del movimiento.
La verificación experimental del marco ASAP muestra que:
En la migración entre simuladores, lo antes posible puede reducir significativamente los errores de seguimiento de movimiento, que es superior a otros métodos de referencia.
En las pruebas en robots reales, ASAP también puede mejorar significativamente el rendimiento del movimiento del robot, lo que permite al robot completar movimientos ágiles difíciles.
El estudio también explora en profundidad los factores clave de entrenamiento de modelos de acción diferencial, incluido el tamaño del conjunto de datos, la duración del entrenamiento y el peso de la norma de acción. Además, los investigadores compararon diferentes estrategias de uso del modelo de acción diferencial y finalmente confirmaron que el método de ajuste de refuerzo de refuerzo puede lograr un rendimiento óptimo.
A pesar del notable progreso del marco ASAP, todavía tiene algunas limitaciones, como limitaciones de hardware, dependencia de los sistemas de captura de movimiento y altas demandas de datos. Las direcciones de investigación futuras pueden incluir el desarrollo de arquitecturas estratégicas que puedan percibir el daño del hardware, aprovechar la estimación de pose sin marca o la fusión del sensor a bordo para reducir la dependencia de los sistemas de captura de movimiento y explorar técnicas adaptativas más eficientes para los modelos de acción diferencial.
La aparición del marco ASAP ha traído una nueva esperanza al campo de los robots humanoides. Al resolver hábilmente las diferencias dinámicas entre la simulación y la realidad, lo antes posible permite a los robots humanoides dominar las habilidades motoras más ágiles y coordinadas, estableciendo una base sólida para la aplicación generalizada de robots humanoides en el mundo real en el futuro.
Dirección del proyecto: https://agile.human2humanoid.com/
Dirección en papel: https://arxiv.org/pdf/2502.01143
El marco ASAP proporciona una solución efectiva para resolver la brecha entre la simulación de robotes humanoides y la realidad. . La investigación futura puede optimizar aún más el marco ASAP para hacerlo más robusto y eficiente en aplicaciones prácticas.