AdEMAMix Optimizer Pytorch

Ademamix 옵티마이저: 더 좋고, 더 빠르고, 더 오래되었습니다.

알고:

종이를 이용한 실험:

참조

Pagliardini, M., Ablin, P., & Grangier, D. (2024). AdEMAMix 최적화 도구: 더 좋고, 더 빠르고, 더 오래되었습니다. arXiv 사전 인쇄 arXiv:2409.03137. https://arxiv.org/abs/2409.03137

지원하다

이 프로젝트가 가치 있다고 생각되면 GitHub에 별표 표시해 보세요. 귀하의 지원에 진심으로 감사드리며, GitHub 문제를 통한 피드백이나 제안을 환영합니다.

추가 기여에 관심이 있는 분들을 위해 GitHub 후원자 페이지가 있습니다. 귀하의 후원은 이 프로젝트를 유지하고 향상시키는 데 큰 도움이 될 것입니다. 귀하의 지원에 감사드립니다!