AdEMAMix Optimizer Pytorch

EL OPTIMIZADOR ADEMAMIX: MEJOR, MÁS RÁPIDO, MÁS ANTIGUO

Algo:

Experimentos en papel:

Referencia

Pagliardini, M., Ablin, P. y Grangier, D. (2024). El optimizador AdEMAMix: mejor, más rápido y más antiguo. Preimpresión de arXiv arXiv:2409.03137. https://arxiv.org/abs/2409.03137

Apoyo

Si encuentra valioso este proyecto, considere destacarlo en GitHub. Apreciamos mucho su apoyo y agradecemos cualquier comentario o sugerencia a través de los problemas de GitHub.

Para aquellos interesados ​​en seguir contribuyendo, tenemos una página de Patrocinadores de GitHub. Su patrocinio nos ayudará significativamente a mantener y mejorar este proyecto. ¡Gracias por su apoyo!