AWS meluncurkan instans Amazon EC2 Trn2 dan Trn2UltraServers berdasarkan chip Trainium2 pada konferensi re:Invent tahun 2024, serta chip AI Trainium3 generasi berikutnya. Instans generasi baru telah meningkatkan kinerja secara signifikan, dan rasio harga-kinerja 30-40% lebih tinggi dibandingkan instans EC2 berbasis GPU generasi sebelumnya. Langkah ini menandai langkah penting bagi AWS di bidang komputasi AI, menyediakan kemampuan komputasi yang lebih kuat untuk pelatihan dan penerapan model bahasa besar, dan mempromosikan penerapan dan pengembangan teknologi AI secara luas melalui kerja sama dengan banyak mitra. efektivitas.
Pada konferensi AWS re:Invent tahun 2024, Amazon Web Services (AWS) mengumumkan peluncuran instans Amazon Elastic Compute Cloud (EC2) berdasarkan chip Trainium2, yang secara resmi tersedia bagi pengguna. Harga dan kinerja instans baru ini 30-40% lebih tinggi dibandingkan instans EC2 berbasis GPU generasi sebelumnya. “Saya sangat gembira mengumumkan ketersediaan umum instans Amazon EC2 Trn2 yang didukung Trainium2,” kata CEO AWS Matt Garman.
Selain instans Trn2, AWS juga meluncurkan Trn2UltraServers dan mendemonstrasikan chip Trainium3AI generasi berikutnya. Dilengkapi dengan 16 chip Trainium2, instans Trn2 mampu memberikan kinerja komputasi hingga 20,8 petaflops dan dirancang untuk melatih dan menerapkan model bahasa besar (LLM) dengan miliaran parameter.
Trn2UltraServers menggabungkan empat server Trn2 ke dalam satu sistem, menyediakan daya komputasi hingga 83,2 petaflops untuk mencapai skalabilitas yang lebih tinggi. UltraServer ini memiliki 64 chip Trainium2 yang saling terhubung untuk memenuhi kebutuhan daya komputasi pelanggan selama pelatihan dan inferensi. “Peluncuran instance Trainium2 dan Trn2UltraServers memberi pelanggan kekuatan komputasi yang mereka perlukan untuk menyelesaikan model AI paling kompleks,” kata David Brown, wakil presiden Komputasi dan Jaringan di AWS.
AWS telah bermitra dengan Anthropic untuk meluncurkan klaster komputasi AI berskala besar yang disebut Project Rainier, menggunakan ratusan ribu chip Trainium2. Infrastruktur ini akan mendukung pengembangan Anthropic, termasuk optimalisasi produk andalannya Claude untuk dijalankan pada perangkat keras Trainium2.
Selain itu, Databricks dan Hugging Face juga bekerja sama dengan AWS untuk memanfaatkan kemampuan Trainium guna meningkatkan kinerja dan efisiensi biaya produk AI mereka. Databricks berencana menggunakan perangkat keras tersebut untuk meningkatkan platform AI Mosaiknya, sementara Hugging Face mengintegrasikan Trainium2 ke dalam alat pengembangan dan penerapan AI-nya.
Pelanggan Trainium2 lainnya termasuk Adobe, Poolside, dan Qualcomm. Garman menyebutkan bahwa setelah Adobe menggunakan Trainium2 untuk pengujian awal model inferensi Firefly, hasilnya sangat memuaskan dan diharapkan dapat menghemat banyak. “Poolside mengharapkan penghematan 40% dibandingkan opsi lain,” tambahnya. “Qualcomm memanfaatkan Trainium2 untuk mengembangkan sistem AI yang dapat dilatih di cloud dan diterapkan di edge.”
Selain itu, AWS juga melakukan preview chip Trainium3 miliknya yang menggunakan proses 3 nanometer. UltraServers berbasis Trainium3 diharapkan akan diluncurkan pada akhir tahun 2025 dan dirancang untuk memberikan kinerja empat kali lebih tinggi daripada UltraServers Trn2.
Untuk mengoptimalkan penggunaan perangkat keras Trainium, AWS juga meluncurkan Neuron SDK, rangkaian alat perangkat lunak yang membantu pengembang mengoptimalkan model untuk mencapai kinerja optimal pada chip Trainium. SDK mendukung kerangka kerja seperti JAX dan PyTorch, memungkinkan pelanggan untuk mengintegrasikan perangkat lunak ke dalam alur kerja yang ada dengan modifikasi kode minimal.
Saat ini, instans Trn2 tersedia di wilayah AS Timur (Ohio) dan akan diperluas ke wilayah lain di masa mendatang. UltraServers saat ini sedang dalam pratinjau.
Secara keseluruhan, peluncuran Trainium2 serta produk dan layanan terkaitnya oleh AWS telah memberikan dorongan kuat bagi perkembangan pesat bidang kecerdasan buatan dan semakin mengkonsolidasikan posisi terdepan AWS di bidang komputasi awan dan AI. Kedepannya, dengan diluncurkannya Trainium3, keunggulannya di bidang komputasi AI akan semakin signifikan.