AdEMAMix Optimizer Pytorch

ADEMAMIX 优化器：更好、更快、更旧

算法：

纸上实验：

参考

Pagliardini, M.、Ablin, P. 和 Grangier, D. (2024)。 AdEMAMix 优化器：更好、更快、更旧。 arXiv 预印本 arXiv：2409.03137。 https://arxiv.org/abs/2409.03137

支持

如果您发现该项目有价值，请考虑在 GitHub 上为其加注星标。非常感谢您的支持，我们欢迎通过 GitHub 问题提供任何反馈或建议。

对于那些有兴趣进一步贡献的人，我们有一个 GitHub 赞助商页面。您的赞助将极大地帮助我们维护和加强这个项目。感谢您的支持！