NVIDIA mengumumkan bahwa tim peneliti telah mengembangkan jaringan saraf baru yang disebut Hover (Humanoid Multifunction Controller), jaringan saraf yang kecil namun efisien dengan hanya 1,5 juta parameter yang didedikasikan untuk mengendalikan pergerakan dan pengoperasian robot humanoid. Apa yang unik tentang hover adalah kemampuannya untuk menangkap proses bawah sadar dalam gerakan manusia, memungkinkan robot untuk melakukan tugas -tugas kompleks tanpa pemrograman yang rumit, yang merupakan terobosan yang signifikan di bidang kontrol robot. Proses pelatihan yang efisien juga mengesankan.
Tim peneliti mengumumkan kemajuan yang menarik dalam mengembangkan jaringan saraf baru yang disebut Hover (Humanoid Multifunctional Controller). Jaringan saraf ini memiliki 1,5 juta parameter dan secara khusus dirancang untuk mengoordinasikan pergerakan dan pengoperasian robot humanoid.
"Tidak semua model dasar harus besar. Jaringan saraf parameter 1,5m yang kami latih dirancang untuk mengendalikan tubuh robot humanoid." Robot untuk melakukan tugas -tugas kompleks tanpa pemrograman yang rumit. Dia menyebutkan bahwa "manusia membutuhkan banyak pemrosesan bawah sadar ketika berjalan, menjaga keseimbangan, dan memanipulasi anggota tubuh mereka secara fleksibel."
Selama proses pelatihan, melayang menggunakan platform simulasi Isaac NVIDIA, yang dapat mempercepat simulasi fisik dengan kecepatan 10.000 kali lipat dari waktu nyata.
Jim Fan mengungkapkan bahwa model telah dilatih di lingkungan virtual selama satu tahun dan sebenarnya hanya membutuhkan waktu sekitar 50 menit waktu nyata, yang dilakukan pada satu GPU. Dia mengatakan bahwa pelatihan yang efisien ini memungkinkan jaringan saraf untuk ditransfer dengan lancar ke aplikasi dunia nyata tanpa menyempurnakan.
Arwah memiliki kemampuan untuk menanggapi berbagai instruksi gerak tingkat tinggi, termasuk kontrol postur kepala dan tangan menggunakan perangkat XR seperti Apple Vision Pro, atau mendapatkan postur tubuh penuh melalui penangkapan gerak dan kamera RGB, dan bahkan sambungan dari exoskeleton Sudut, atau dapatkan perintah kecepatan root dari joystick. Fan menekankan bahwa Hover menyediakan antarmuka terpadu untuk robot yang mengontrol perangkat input yang berbeda, sehingga memfasilitasi pengumpulan data operasional jarak jauh untuk pelatihan.
Selain itu, hover diintegrasikan dengan model aksi penglihatan-penglihatan hulu, memungkinkan instruksi gerak dikonversi menjadi sinyal motor tingkat rendah pada frekuensi tinggi. Model ini kompatibel dengan robot humanoid apa pun yang dapat disimulasikan di Isaac, memungkinkan pengguna untuk memberikan kehidupan robot dengan mudah.
Kembali pada awal tahun ini, NVIDIA juga mengumumkan proyek yang disebut GR00T, model tujuan umum yang dirancang untuk robot humanoid. Robot bertenaga GR00T (Generalis Robot00Technology) dapat memahami bahasa alami dan meniru gerakan manusia dengan mengamati tindakan, memungkinkan mereka untuk dengan cepat belajar koordinasi, fleksibilitas, dan keterampilan lain yang diperlukan untuk berinteraksi secara efektif di dunia nyata.
URL kertas: https://arxiv.org/pdf/2410.21229
Poin -Poin Kunci:
- NVIDIA Meluncurkan Hover, jaringan saraf parameter 1,5 juta yang dirancang untuk mengendalikan pergerakan dan pengoperasian robot humanoid.
- ⏳ Melayang dilatih di lingkungan virtual selama satu tahun, dan waktu pelatihan yang sebenarnya hanya 50 menit, yang meningkatkan efisiensi aplikasi kehidupan nyata.
- Hover mendukung berbagai instruksi gerak tingkat tinggi, dapat bekerja bekerja sama dengan perangkat input yang berbeda, dan menyediakan antarmuka terpadu untuk kontrol robot.
Munculnya hover menandai lompatan besar dalam teknologi kontrol robot humanoid. Kami menantikan teknologi ini membawa lebih banyak aplikasi dan inovasi yang menarik di masa depan.