AdEMAMix Optimizer Pytorch

L'OPTIMISEUR ADEMAMIX : MEILLEUR, PLUS RAPIDE, PLUS ANCIEN

Algo :

Expériences sur papier :

Référence

Pagliardini, M., Ablin, P. et Grangier, D. (2024). L'optimiseur AdEMAMix : meilleur, plus rapide, plus ancien. Préimpression arXiv arXiv:2409.03137. https://arxiv.org/abs/2409.03137

Soutien

Si vous trouvez ce projet utile, pensez à le mettre en vedette sur GitHub. Votre soutien est grandement apprécié et nous apprécions tout commentaire ou suggestion concernant les problèmes GitHub.

Pour ceux qui souhaitent contribuer davantage, nous avons une page GitHub Sponsors. Votre parrainage nous aidera considérablement à maintenir et à améliorer ce projet. Merci pour votre soutien !