AdEMAMix Optimizer Pytorch

O OTIMIZADOR ADEMAMIX: MELHOR, MAIS RÁPIDO, MAIS ANTIGO

Algo:

Experimentos de papel:

Referência

Pagliardini, M., Ablin, P. e Grangier, D. (2024). O otimizador AdEMAMix: melhor, mais rápido, mais antigo. Pré-impressão do arXiv arXiv:2409.03137. https://arxiv.org/abs/2409.03137

Apoiar

Se você achar este projeto valioso, considere marcá-lo no GitHub. Seu apoio é muito apreciado e agradecemos qualquer feedback ou sugestão por meio de problemas do GitHub.

Para aqueles interessados ​​em contribuir ainda mais, temos uma página de patrocinadores do GitHub. Seu patrocínio nos ajudará significativamente a manter e aprimorar este projeto. Obrigado pelo seu apoio!