米国のオークリッジ国立研究所は、世界で最も強力なスーパーコンピューターである Frontier を使用して、わずか 8% の計算能力を使用して ChatGPT と同等の言語モデルをトレーニングすることに成功し、大きな進歩を遂げました。このモデルには数兆個のパラメータがあり、革新的な分散トレーニングと並列テクノロジーにより、研究チームは 100% の弱い拡張効率を達成し、将来の大規模な言語モデルをトレーニングするための貴重な経験と技術的参考資料を提供しました。この研究は、スーパーコンピューティング技術の力を実証するだけでなく、大規模な言語モデルのトレーニングに対処する際のメモリの重要性やその他の課題も浮き彫りにしています。
科学者たちは、世界で最も強力なスーパーコンピューターを使用して、わずか 8% の計算能力を使用して ChatGPT レベルのモデルをトレーニングすることに成功しました。この画期的な成果はオークリッジ国立研究所から生まれました。そこでは、研究チームが革新的なテクノロジーを使用して、Frontier スーパーコンピューター上で 1 兆パラメータの言語モデルをトレーニングしました。分散トレーニングと並列テクノロジーにより、100% の弱い拡張効率が達成されます。ただし、大規模な言語モデルのトレーニングには依然として課題があり、メモリの問題に対処する必要があります。この研究は、将来的に巨大な言語モデルをトレーニングするための経験を提供し、分散トレーニングと並列コンピューティングの重要な役割を強調しています。この研究結果は、人工知能分野の発展に新たな可能性をもたらすとともに、大規模言語モデル学習技術が将来的にはより効率的かつ省エネルギーな方向に発展することを示唆しています。 コンピューティング リソースの効率的な使用は、大規模な言語モデルの将来の開発にとって重要な方向性です。