미국 오크리지 국립연구소(Oak Ridge National Laboratory)는 세계에서 가장 강력한 슈퍼컴퓨터인 프론티어(Frontier)를 사용하여 단 8%의 컴퓨팅 성능을 사용하여 ChatGPT와 동등한 언어 모델을 훈련시키는 데 획기적인 발전을 이루었습니다. 이 모델에는 수조 개의 매개변수가 있습니다. 혁신적인 분산 훈련과 병렬 기술을 통해 연구팀은 100% 약한 확장 효율성을 달성하여 향후 대규모 언어 모델 훈련을 위한 귀중한 경험과 기술 참조를 제공합니다. 이 연구는 슈퍼컴퓨팅 기술의 힘을 보여줄 뿐만 아니라 대규모 언어 모델 훈련을 처리할 때 메모리와 기타 과제의 중요성을 강조합니다.
과학자들은 세계에서 가장 강력한 슈퍼컴퓨터를 사용하여 컴퓨팅 성능의 8%만 사용하여 ChatGPT 수준 모델을 성공적으로 훈련했습니다. 획기적인 발전은 오크리지 국립연구소(Oak Ridge National Laboratory)에서 이루어졌습니다. 이곳에서 연구팀은 혁신적인 기술을 사용하여 Frontier 슈퍼컴퓨터에서 1조 매개변수 언어 모델을 훈련했습니다. 분산 훈련과 병렬 기술을 통해 100% 약한 확장 효율을 달성합니다. 그러나 대규모 언어 모델을 훈련하는 데에는 여전히 어려움이 있으며 메모리 문제를 해결해야 합니다. 이 연구는 미래에 거대한 언어 모델을 훈련하기 위한 경험을 제공하고 분산 훈련과 병렬 컴퓨팅의 핵심 역할을 강조합니다.이번 연구 결과는 인공지능 분야의 발전에 새로운 가능성을 제시하고 있으며, 향후 대규모 언어모델 훈련 기술이 보다 효율적이고 에너지 절약적인 방향으로 발전할 것임을 시사한다. 컴퓨팅 자원의 효율적인 사용은 향후 대규모 언어 모델 개발을 위한 중요한 방향입니다.