NVIDIA는 연구팀이 Humanoid Robot의 움직임 및 작동을 제어하는 데 전념하는 150 만 개의 매개 변수를 갖춘 작지만 효율적인 신경망 인 Hover (Humanoid Multiftunction Controller)라는 새로운 신경망을 개발했다고 발표했습니다. 호버의 독특한 점은 인간 운동에서 잠재 의식 과정을 포착하는 능력으로, 로봇이 번거로운 프로그래밍없이 복잡한 작업을 수행 할 수있는 능력은 로봇 제어 분야에서 중요한 획기적인 획기적인 것입니다. 효율적인 교육 프로세스도 인상적입니다.
연구팀은 Hover (Humanoid multiftunctional Controller)라는 새로운 신경망을 개발하는 데 흥미로운 진전을 발표했습니다. 이 신경망에는 150 만 개의 매개 변수가 있으며 특히 휴머노이드 로봇의 움직임과 작동을 조정하도록 설계되었습니다.
"모든 기본 모델이 거대 할 필요는 없습니다. 우리가 훈련 한 1.5m 매개 변수 신경망은 인간화 로봇의 본문을 제어하도록 설계되었습니다." 번거로운 프로그래밍없이 복잡한 작업을 수행하는 로봇. 그는“인간은 걷기, 균형을 유지하며 사지를 유연하게 조작 할 때 많은 잠재 의식 가공이 필요하다”고 언급했다.
훈련 과정에서 Hover는 NVIDIA의 ISAAC 시뮬레이션 플랫폼을 사용하여 실시간의 10,000 배 속도로 물리적 시뮬레이션을 가속화 할 수 있습니다.
Jim Fan 은이 모델이 1 년 동안 가상 환경에서 교육을 받았으며 실제로 단일 GPU에서 수행되는 실시간 약 50 분 밖에 걸리지 않았다고 밝혔다. 그는이 효율적인 훈련을 통해 신경망을 미세 조정없이 실제 응용 프로그램으로 원활하게 전송할 수 있다고 말했다.
Hover는 Apple의 Vision Pro와 같은 XR 장치를 사용한 헤드 및 손 자세의 제어 또는 모션 캡처 및 RGB 카메라를 통한 전신 자세를 얻는 등 다양한 고급 모션 지침에 응답 할 수 있습니다. 각도 또는 조이스틱에서 루트 속도 명령을 얻습니다. 팬은 호버가 다른 입력 장치를 제어하는 로봇에 대한 통합 인터페이스를 제공하여 교육을위한 원격 작동 데이터 수집을 촉진한다고 강조했다.
또한 호버는 업스트림 비전 언어 작용 모델과 통합되어 모션 명령어가 고주파에서 저수준 모터 신호로 변환 될 수 있습니다. 이 모델은 ISAAC에서 시뮬레이션 할 수있는 모든 휴머노이드 로봇과 호환되므로 사용자는 로봇 생물을 쉽게 제공 할 수 있습니다.
올해 초 Nvidia는 휴머노이드 로봇을 위해 설계된 일반 목적 모델 인 GR00T라는 프로젝트를 발표했습니다. GR00T (Generalist Robot00technology) Powered Robot은 행동을 관찰함으로써 자연 언어와 인간 운동을 모방하여 실제 세계에서 효과적으로 상호 작용하는 데 필요한 조정, 유연성 및 기타 기술을 신속하게 배울 수 있습니다.
종이 URL : https://arxiv.org/pdf/2410.21229
핵심 사항 :
-Nvidia는 휴머노이드 로봇의 움직임과 작동을 제어하도록 설계된 150 만 파라미터 신경망 인 Hover를 시작합니다.
- in 호버는 1 년 동안 가상 환경에서 훈련을 받았으며 실제 교육 시간은 50 분 밖에 걸리지 않아 실제 응용 프로그램의 효율성이 향상되었습니다.
- 호버는 다양한 고급 모션 지침을 지원하고 다른 입력 장치와 협력하여 작동 할 수 있으며 로봇 제어를위한 통합 인터페이스를 제공합니다.
호버의 출현은 효율적인 훈련 방법과 다기능 제어 기능의 제어 기술에서 주요 도약을 의미합니다. 우리는이 기술이 향후 더 흥미로운 응용 프로그램과 혁신을 가져 오기를 기대합니다.