Laboratorium Nasional Oak Ridge di Amerika Serikat telah membuat terobosan besar, menggunakan Frontier, superkomputer terkuat di dunia, untuk berhasil melatih model bahasa yang setara dengan ChatGPT hanya dengan menggunakan 8% daya komputasinya. Model ini memiliki triliunan parameter. Melalui pelatihan terdistribusi yang inovatif dan teknologi paralel, tim peneliti mencapai efisiensi ekspansi yang lemah 100%, memberikan pengalaman berharga dan referensi teknis untuk melatih model bahasa berskala lebih besar di masa depan. Penelitian ini tidak hanya menunjukkan kekuatan teknologi superkomputer, tetapi juga menyoroti pentingnya memori dan tantangan lain dalam menghadapi pelatihan model bahasa berskala besar.
Para ilmuwan menggunakan superkomputer terkuat di dunia untuk berhasil melatih model tingkat ChatGPT, hanya menggunakan 8% daya komputasi. Terobosan datang dari Laboratorium Nasional Oak Ridge, tempat tim peneliti menggunakan teknologi inovatif untuk melatih model bahasa triliunan parameter pada superkomputer Frontier. Melalui pelatihan terdistribusi dan teknologi paralel, efisiensi ekspansi lemah 100% dapat dicapai. Namun, pelatihan model bahasa besar masih menghadirkan tantangan dan memerlukan penanganan masalah memori. Penelitian ini memberikan pengalaman untuk melatih model bahasa besar di masa depan dan menyoroti peran kunci dari pelatihan terdistribusi dan komputasi paralel.Hasil penelitian ini membawa kemungkinan-kemungkinan baru bagi perkembangan bidang kecerdasan buatan, dan juga menunjukkan bahwa teknologi pelatihan model bahasa skala besar akan berkembang ke arah yang lebih efisien dan hemat energi di masa depan. Penggunaan sumber daya komputasi yang efisien merupakan arah penting untuk pengembangan model bahasa besar di masa depan.