長期以來，人形機器人的敏捷運動一直是機器人研究領域的巨大挑戰。模擬環境與真實世界的物理差異，使得機器人難以將模擬訓練的成果直接應用於現實。本文介紹了一種名為ASAP（Aligning Simulation and Real Physics）的新框架，它通過巧妙地對齊模擬和現實物理特性，有效解決了這一難題，使人形機器人能夠實現更靈活、更協調的全身運動。
長期以來，人們一直夢想著人形機器人能夠像人類一樣靈活自如，甚至超越人類。然而，由於模擬環境與真實世界之間的物理差異，實現機器人全身協調、敏捷運動仍然是一項巨大的挑戰。傳統的系統辨識和領域隨機化方法往往依賴於繁瑣的參數調整，或者導致機器人動作過於保守，犧牲了敏捷性。現在，一種名為ASAP （Aligning Simulation and Real Physics） 的全新框架橫空出世，它通過巧妙地對齊模擬和現實物理特性，讓人形機器人能夠掌握更加靈活的全身運動技能。
ASAP框架分為兩個關鍵階段。首先，在預訓練階段，研究人員會利用人類運動視頻數據，將這些動作重新映射到人形機器人身上，然後在模擬環境中訓練機器人學習這些動作。然而，直接將模擬環境中訓練好的策略應用到真實機器人身上，往往會導致性能下降，因為模擬環境和真實世界存在動態差異。為了解決這個問題，ASAP框架進入第二階段——後訓練階段。在這個階段，研究人員會讓機器人在真實世界中執行預訓練的動作，並記錄下機器人的實際運動軌跡。
接下來，ASAP框架會利用這些真實世界的運動數據，在模擬器中重現機器人的運動。由於模擬環境和真實世界存在差異，模擬的運動軌跡往往會偏離真實的運動軌跡。這種差異恰好為研究人員提供了學習的信號。 ASAP會訓練一個“差值動作模型”，該模型能夠學習並補償模擬與現實之間的動態差異。這個模型就像一個“糾錯器”，能夠修正模擬器中的不足，使其更接近真實世界的物理特性。最後，研究人員會將這個“差值動作模型”整合到模擬器中，並利用它來微調預訓練的運動跟踪策略，從而使機器人的動作能夠更好地適應真實世界的物理特性。經過微調後的策略，可以直接部署到現實世界的機器人上，無需再藉助“差值動作模型”。
為了驗證ASAP框架的有效性，研究人員進行了多項實驗，包括在不同的模擬器之間進行遷移，以及在真實的人形機器人Unitree G1上進行測試。實驗結果表明，ASAP框架在各種動態運動中，都顯著提高了機器人的敏捷性和全身協調性，與傳統的系統辨識、領域隨機化以及動態差值學習方法相比，ASAP能夠顯著降低運動跟踪誤差。
ASAP框架的成功之處在於其能夠有效彌合模擬環境和現實世界之間的動態差異，使得在模擬環境中訓練的人形機器人能夠真正在現實世界中展現出高超的敏捷性，這為開發更加靈活和多功能的人形機器人指明了新的方向。
ASAP框架的關鍵技術包括:
利用人類運動數據進行預訓練: 將人類的敏捷動作轉化為機器人的學習目標，為機器人提供高質量的運動數據。
差值動作模型的訓練: 通過學習真實世界和模擬環境之間的差異，動態補償模擬器的不足，提高模擬的準確性。
基於差值動作模型的策略微調: 使機器人策略能夠適應真實世界的物理特性，最終實現更高的運動性能。
ASAP框架的實驗驗證表明:
在模擬器之間的遷移中，ASAP能夠顯著降低運動跟踪誤差，優於其他基準方法。
在真實機器人上的測試中，ASAP也能夠顯著提高機器人的運動性能，使機器人能夠完成高難度的敏捷動作。
該研究還深入探討了訓練差值動作模型的關鍵因素，包括數據集大小、訓練時長和動作範數權重等。此外，研究人員還比較了不同的差值動作模型使用策略，最終確認強化學習微調方法能夠實現最佳的性能。
儘管ASAP框架取得了令人矚目的進展，但其仍然存在一些局限性，例如硬件限制、對運動捕捉系統的依賴以及數據需求量大等。未來的研究方向可能包括開發能夠感知硬件損壞的策略架構、利用無需標記的姿態估計或機載傳感器融合來減少對運動捕捉系統的依賴，以及探索更高效的差值動作模型自適應技術。
ASAP框架的出現為人形機器人領域帶來了新的希望。通過巧妙地解決模擬與現實之間的動態差異問題，ASAP使人形機器人能夠掌握更加敏捷、協調的運動技能，為未來人形機器人在現實世界中的廣泛應用奠定了堅實的基礎。
項目地址：https://agile.human2humanoid.com/
論文地址：https://arxiv.org/pdf/2502.01143
ASAP框架為解決人形機器人模擬與現實差距問題提供了有效方案，其在提高機器人敏捷性和協調性方面的顯著成果，為未來人形機器人技術發展指明了方向，也預示著更加靈活、智能的人形機器人即將到來。未來研究可以進一步優化ASAP框架，使其在實際應用中更具魯棒性和效率。