訓練大型AI模型的成本高昂，其龐大的資源需求限制了其廣泛應用，並引發了對能源效率和環境影響的擔憂。傳統的訓練方法效率低下，依賴稠密矩陣，需要大量的記憶體和運算能力。現有的一些方法雖然試圖緩解這些問題，但在實際應用上仍有限制。因此，開發一種能夠同時降低記憶體使用、計算成本和訓練時間，且不損害效能的方法至關重要。
訓練大型AI模型（如Transformer和語言模型）已成為AI領域不可或缺的關鍵環節，但也面臨高昂的運算成本、記憶體消耗和能源需求。例如，OpenAI的GPT-3擁有1750億個參數，需要數週的GPU訓練。這種巨大的資源需求限制了這項技術在大規模運算資源充足的組織中的應用，同時也加劇了人們對能源效率和環境影響的擔憂。解決這些挑戰對於確保AI發展的更廣泛可及性和可持續性至關重要。
傳統訓練方法效率低下，亟需創新解決方案
CoMERA框架:透過自適應張量優化實現高效訓練
CoMERA的基礎是自適應張量表示，它允許模型層根據資源限制動態調整其秩。透過修改張量秩，該框架可以在不損害神經網路操作完整性的情況下實現壓縮。這種動態優化是透過一個兩階段的訓練過程來實現的:
早期階段:專注於穩定收斂。
後期階段:微調秩以滿足特定的壓縮目標。
在一個六編碼器Transformer模型中，CoMERA在其早期階段實現了高達43倍的壓縮比，而在其後期最佳化階段，壓縮比更是高達361倍。此外，與GaLore相比，它將記憶體消耗降低了9倍，每輪訓練速度提高了2-3倍。
多項測試結果顯示CoMERA性能卓越
在應用於MNLI資料集上訓練的Transformer模型時，CoMERA將模型大小從256MB縮小到低至3.2MB，同時保持了精度。在諸如DLRM的大規模推薦系統中，CoMERA將模型壓縮了99倍，並使峰值記憶體使用量減少了7倍。該框架還在預訓練CodeBERT（一個特定領域的大型語言模型）方面表現出色，獲得了4.23倍的整體壓縮比，並在某些訓練階段實現了2倍的加速。這些結果突顯了其處理各種任務和架構的能力，擴展了其在各個領域的適用性。
CoMERA框架的關鍵優勢總結
這項研究的主要結論如下:
CoMERA為特定層實現了高達361倍的壓縮比，為整個模型實現了99倍的壓縮比，大大降低了儲存和記憶體需求。
該框架將Transformer和推薦系統的每輪訓練時間縮短了2-3倍，節省了運算資源和時間。
透過使用張量化表示和CUDA圖，CoMERA將峰值記憶體消耗減少了7倍，使得在較小的GPU上進行訓練成為可能。
CoMERA的方法支援包括Transformer和大型語言模型在內的多種架構，同時保持或提高了精確度。
透過降低訓練所需的能源和資源，CoMERA有助於實現更永續的AI實踐，並使更廣泛的受眾能夠使用尖端模型。
總而言之，CoMERA框架為高效訓練大型AI模型提供了一種具有突破性的解決方案，它透過自適應張量優化，顯著降低了計算成本和記憶體需求，同時保持了模型的精度。這項研究為AI領域的持續發展和更廣泛的可及性做出了重要貢獻。