Meta baru-baru ini mengumumkan bahwa daya komputasi yang diperlukan untuk melatih model bahasa skala besar akan meningkat secara eksponensial di masa depan. CEO Meta Zuckerberg mengungkapkan selama panggilan pendapatan bahwa volume perhitungan pelatihan Llama 4 akan sepuluh kali lipat dari Llama 3. Berita ini menyoroti tingginya biaya dan tantangan teknis dalam pelatihan model bahasa berskala besar, dan juga mencerminkan persaingan ketat yang terus berlanjut di antara raksasa teknologi di bidang AI. Meta secara aktif berinvestasi dalam membangun kemampuan komputasi yang sesuai untuk memenuhi kebutuhan pelatihan model di masa depan.
Meta, sebagai pengembang model bahasa dasar open source berskala besar Llama, percaya bahwa daya komputasi yang dibutuhkan untuk melatih model akan meningkat secara signifikan di masa depan. Pada hari Selasa, selama panggilan pendapatan kuartal kedua Meta, Mark Zuckerberg mengungkapkan bahwa pelatihan Llama4 akan membutuhkan 10 kali daya komputasi dari pelatihan Llama3. Meski begitu, ditegaskannya Meta harus membangun kemampuan melatih model agar tidak tertinggal dari kompetitor.
“Pelatihan Llama4 mungkin memerlukan hampir 10 kali jumlah komputasi yang dibutuhkan untuk melatih Llama3, dan model masa depan akan terus memerlukan lebih banyak komputasi,” kata Zuckerberg juga mencatat bahwa sulit untuk memprediksi tren perkembangan model multi-generasi di masa depan. , namun pada saat ini lebih baik membangun kemampuan yang diperlukan terlebih dahulu daripada terlambat. Bagaimanapun, memulai proyek inferensi baru memerlukan waktu persiapan yang lama.
Pada bulan April tahun ini, Meta merilis Llama3 dengan 80 miliar parameter. Minggu lalu, perusahaan merilis versi upgrade Llama3.1405B, dengan parameter mencapai 405 miliar, menjadi model open source terbesar Meta.
CFO Meta Susan Lee juga mengatakan bahwa perusahaan sedang mempertimbangkan berbagai proyek pusat data dan membangun kemampuan untuk melatih model AI di masa depan. Meta memperkirakan investasi tersebut akan meningkatkan belanja modal pada tahun 2025, ujarnya.
Anda tahu, melatih model bahasa besar adalah bisnis yang mahal. Pada kuartal kedua tahun 2024, belanja modal Meta meningkat hampir 33% menjadi $8,5 miliar dari $6,4 miliar pada tahun lalu, didorong oleh investasi pada server, pusat data, dan infrastruktur jaringan.
Highlight:
?Meta Daya komputasi yang dibutuhkan untuk melatih Llama4 kira-kira 10 kali lipat dari pelatihan Llama3.
?Meta memperkirakan investasi dalam peningkatan kapasitas akan meningkatkan belanja modal pada tahun 2025.
?Melatih model bahasa besar itu mahal, dan belanja modal Meta meningkat secara signifikan pada kuartal kedua.
Secara keseluruhan, investasi besar Meta dalam pelatihan model AI di masa depan menunjukkan ambisinya di bidang kecerdasan buatan, tetapi juga menandai semakin ketatnya persaingan di industri AI dan pesatnya kemajuan perkembangan teknologi. Hal ini akan mempunyai konsekuensi besar bagi seluruh industri teknologi.