AdEMAMix Optimizer Pytorch

เครื่องมือเพิ่มประสิทธิภาพ ADEMAMIX: ดีกว่า เร็วกว่า เก่ากว่า

อัลโก:

การทดลองจากกระดาษ:

อ้างอิง

Pagliardini, M., Ablin, P., & Grangier, D. (2024) เครื่องมือเพิ่มประสิทธิภาพ AdEMAMix: ดีกว่า เร็วกว่า และเก่ากว่า arXiv พิมพ์ล่วงหน้า arXiv:2409.03137 https://arxiv.org/abs/2409.03137

สนับสนุน

หากคุณพบว่าโปรเจ็กต์นี้มีคุณค่า โปรดพิจารณานำแสดงโดยบน GitHub การสนับสนุนของคุณได้รับการชื่นชมอย่างมาก และเรายินดีรับข้อเสนอแนะหรือข้อเสนอแนะผ่านทางปัญหา GitHub

สำหรับผู้ที่สนใจจะมีส่วนร่วมเพิ่มเติม เรามีหน้าผู้สนับสนุน GitHub การสนับสนุนของคุณจะช่วยเราอย่างมากในการรักษาและปรับปรุงโครงการนี้ ขอบคุณสำหรับการสนับสนุนของคุณ!