AdEMAMix Optimizer Pytorch

ОПТИМАЙЗЕР ADEAMIX: ЛУЧШЕ, БЫСТРЕЕ, СТАРЕЕ

Алгоритм:

Эксперименты из бумаги:

Ссылка

Пальярдини М., Аблин П. и Гранжье Д. (2024). Оптимизатор AdEMAMix: лучше, быстрее, старше. Препринт arXiv arXiv:2409.03137. https://arxiv.org/abs/2409.03137

Поддерживать

Если вы считаете этот проект ценным, рассмотрите возможность размещения его на GitHub. Мы очень ценим вашу поддержку и приветствуем любые отзывы и предложения через вопросы GitHub.

Для тех, кто заинтересован в дальнейшем участии, у нас есть страница спонсоров GitHub. Ваше спонсорство существенно поможет нам в поддержании и развитии этого проекта. Спасибо за вашу поддержку!