AdEMAMix Optimizer Pytorch

ADEMAMIX オプティマイザー: より良く、より速く、より古く

アルゴリズム:

紙からの実験:

参照

パリアルディーニ、M.、アブリン、P.、グランジェ、D. (2024)。 AdEMAMix オプティマイザー: より良く、より速く、より古く。 arXiv プレプリント arXiv:2409.03137。 https://arxiv.org/abs/2409.03137

サポート

このプロジェクトに価値があると思われる場合は、GitHub でスターを付けることを検討してください。皆様のご支援に心より感謝申し上げます。GitHub の問題を通じてフィードバックや提案をお待ちしております。

さらに貢献したい方のために、GitHub スポンサー ページをご用意しています。あなたのスポンサーは、このプロジェクトの維持と強化に大きく役立ちます。ご支援ありがとうございます！