Nvidia ประกาศว่าทีมวิจัยได้พัฒนาเครือข่ายประสาทใหม่ที่เรียกว่า Hover (Humanoid Multifunction Controller) ซึ่งเป็นเครือข่ายประสาทขนาดเล็ก แต่มีประสิทธิภาพที่มีพารามิเตอร์เพียง 1.5 ล้านพารามิเตอร์ที่อุทิศให้กับการควบคุมการเคลื่อนไหวและการทำงานของหุ่นยนต์มนุษย์ สิ่งที่ไม่เหมือนใครเกี่ยวกับโฮเวอร์คือความสามารถในการจับภาพกระบวนการจิตใต้สำนึกในการเคลื่อนไหวของมนุษย์ทำให้หุ่นยนต์สามารถทำงานที่ซับซ้อนได้โดยไม่ต้องเขียนโปรแกรมที่ยุ่งยากซึ่งเป็นความก้าวหน้าที่สำคัญในด้านการควบคุมหุ่นยนต์ กระบวนการฝึกอบรมที่มีประสิทธิภาพนั้นน่าประทับใจเช่นกันมันใช้เวลาเพียง 50 นาทีในการฝึกอบรมในสภาพแวดล้อมเสมือนจริงเป็นเวลาหนึ่งปี
ทีมวิจัยประกาศความก้าวหน้าที่น่าตื่นเต้นในการพัฒนาเครือข่ายประสาทใหม่ที่เรียกว่า Hover (Humanoid Multifunctional Controller) เครือข่ายประสาทนี้มีพารามิเตอร์ 1.5 ล้านพารามิเตอร์และได้รับการออกแบบมาโดยเฉพาะเพื่อประสานงานการเคลื่อนไหวและการทำงานของหุ่นยนต์มนุษย์
"ไม่ใช่แบบจำลองพื้นฐานบางอย่างที่ต้องมีขนาดใหญ่เครือข่ายระบบประสาทพารามิเตอร์ 1.5M ที่เราได้รับการออกแบบมาเพื่อควบคุมร่างกายของหุ่นยนต์มนุษย์" เขาอธิบายเพิ่มเติมว่าโฮเวอร์สามารถจับภาพการเคลื่อนไหวของมนุษย์ได้ "เขาอธิบายกระบวนการจิตใต้สำนึก หุ่นยนต์ในการทำงานที่ซับซ้อนโดยไม่ต้องเขียนโปรแกรมยุ่งยาก เขากล่าวว่า“ มนุษย์ต้องการการประมวลผลจิตใต้สำนึกจำนวนมากเมื่อเดินรักษาความสมดุลและจัดการกับแขนขาของพวกเขาอย่างยืดหยุ่น”
ในระหว่างกระบวนการฝึกอบรมโฮเวอร์ใช้แพลตฟอร์มการจำลองไอแซคของ NVIDIA ซึ่งสามารถเร่งการจำลองทางกายภาพด้วยความเร็ว 10,000 เท่าของเวลาจริง
Jim Fan เปิดเผยว่าแบบจำลองได้รับการฝึกฝนในสภาพแวดล้อมเสมือนจริงเป็นเวลาหนึ่งปีและใช้เวลาประมาณ 50 นาทีของเวลาจริงซึ่งทำใน GPU เดียว เขากล่าวว่าการฝึกอบรมที่มีประสิทธิภาพนี้ช่วยให้เครือข่ายประสาทถูกถ่ายโอนอย่างราบรื่นไปยังแอปพลิเคชันในโลกแห่งความเป็นจริงโดยไม่ต้องปรับแต่ง
โฮเวอร์มีความสามารถในการตอบสนองต่อคำแนะนำการเคลื่อนไหวระดับสูงที่หลากหลายรวมถึงการควบคุมท่าทางศีรษะและมือโดยใช้อุปกรณ์ XR เช่น Vision Pro ของ Apple หรือได้รับท่าทางเต็มรูปแบบผ่านการจับภาพการเคลื่อนไหวและกล้อง RGB และแม้แต่ข้อต่อจากโครงกระดูกภายนอก . มุมหรือรับคำสั่งรูทความเร็วจากจอยสติ๊ก พัดลมเน้นว่าโฮเวอร์จัดเตรียมอินเทอร์เฟซแบบครบวงจรสำหรับหุ่นยนต์ที่ควบคุมอุปกรณ์อินพุตที่แตกต่างกันซึ่งจะช่วยให้การรวบรวมข้อมูลการดำเนินงานระยะไกลสำหรับการฝึกอบรม
นอกจากนี้โฮเวอร์ยังถูกรวมเข้ากับโมเดลแอ็คชั่นวิสัยทัศน์อัพสตรีมทำให้สามารถแปลงคำแนะนำการเคลื่อนไหวเป็นสัญญาณมอเตอร์ระดับต่ำได้ที่ความถี่สูง โมเดลนี้เข้ากันได้กับหุ่นยนต์ Humanoid ใด ๆ ที่สามารถจำลองได้ใน Isaac ทำให้ผู้ใช้สามารถให้ชีวิตหุ่นยนต์ได้อย่างง่ายดาย
ย้อนกลับไปเมื่อต้นปีที่ผ่านมา Nvidia ยังประกาศโครงการที่เรียกว่า GR00T ซึ่งเป็นแบบจำลองวัตถุประสงค์ทั่วไปที่ออกแบบมาสำหรับหุ่นยนต์มนุษย์ หุ่นยนต์ที่ขับเคลื่อนด้วย GR00T (Generalist Robot00Technology) สามารถเข้าใจภาษาธรรมชาติและการเคลื่อนไหวของมนุษย์เลียนแบบโดยการสังเกตการกระทำทำให้พวกเขาเรียนรู้การประสานงานความยืดหยุ่นและทักษะอื่น ๆ ที่จำเป็นในการโต้ตอบอย่างมีประสิทธิภาพในโลกแห่งความเป็นจริง
URL กระดาษ: https://arxiv.org/pdf/2410.21229
ประเด็นสำคัญ:
- Nvidia เปิดตัว Hover ซึ่งเป็นเครือข่ายประสาทพารามิเตอร์ 1.5 ล้านตัวที่ออกแบบมาเพื่อควบคุมการเคลื่อนไหวและการทำงานของหุ่นยนต์มนุษย์
- ⏳โฮเวอร์ได้รับการฝึกฝนในสภาพแวดล้อมเสมือนจริงเป็นเวลาหนึ่งปีและเวลาการฝึกอบรมจริงเพียง 50 นาทีซึ่งปรับปรุงประสิทธิภาพของการใช้งานในชีวิตจริง
- โฮเวอร์รองรับคำแนะนำการเคลื่อนไหวระดับสูงที่หลากหลายสามารถทำงานร่วมกับอุปกรณ์อินพุตที่แตกต่างกันและให้อินเทอร์เฟซแบบครบวงจรสำหรับการควบคุมหุ่นยนต์
การเกิดขึ้นของโฮเวอร์ถือเป็นการก้าวกระโดดครั้งใหญ่ในเทคโนโลยีการควบคุมของหุ่นยนต์มนุษย์ เราหวังว่าจะได้เทคโนโลยีนี้นำแอพพลิเคชั่นและนวัตกรรมที่น่าตื่นเต้นมากขึ้นในอนาคต