AdEMAMix Optimizer Pytorch

ADEMAMIX 優化器：更好、更快、更舊

演算法:

紙上實驗：

參考

Pagliardini, M.、Ablin, P. 與 Grangier, D. (2024)。 AdEMAMix 優化器：更好、更快、更舊。 arXiv 預印本 arXiv：2409.03137。 https://arxiv.org/abs/2409.03137

支援

如果您發現該專案有價值，請考慮在 GitHub 上為其加註星標。非常感謝您的支持，我們歡迎透過 GitHub 問題提供任何回饋或建議。

對於有興趣進一步貢獻的人，我們有一個 GitHub 贊助商頁面。您的贊助將極大地幫助我們維護和加強這個計畫。感謝您的支持！