Epoch AI는 최근 대규모 언어 모델 훈련 컴퓨팅 성능 시뮬레이터를 출시했습니다. 이 시뮬레이터는 다양한 하드웨어 조건에서 GPT-4 훈련의 비용과 효율성을 시뮬레이션하여 연구자들에게 귀중한 참고 자료를 제공합니다. 시뮬레이션 결과에 따르면 2012년의 오래된 그래픽 카드 GTX580을 사용해도 GPT-4를 훈련할 수 있지만 비용은 최신 하드웨어에 비해 10배에 달하므로 AI 모델 훈련을 위한 하드웨어 성능 개선의 중요성이 강조됩니다. 또한 이 시뮬레이터는 다중 데이터 센터 훈련 시뮬레이션을 지원하여 사용자가 매개변수를 사용자 정의하고 다양한 하드웨어 및 훈련 전략의 성능 차이를 분석할 수 있도록 하여 미래의 대규모 AI 모델 훈련을 위한 중요한 의사 결정 기반을 제공합니다.
최근 인공지능 연구 회사인 Epoch AI는 대규모 언어 모델을 훈련하는 데 필요한 컴퓨팅 성능을 시뮬레이션하도록 특별히 설계된 대화형 시뮬레이터를 출시했습니다. 연구원들은 이 시뮬레이터를 사용하여 GTX580과 같은 2012년의 구형 그래픽 카드를 사용하여 GPT-4를 훈련하는 것이 가능하지만 비용이 오늘날의 최신 하드웨어보다 10배 더 높을 것이라는 사실을 발견했습니다.
Epoch AI의 연구에 따르면 GPT-4를 훈련하는 데 필요한 부동 소수점 연산(FLOP) 수가 1e25에서 1e26 사이인 것으로 나타났습니다. 이 연구를 위해 시뮬레이터는 특히 모델이 확장됨에 따라 다양한 그래픽 카드의 효율성을 분석했습니다. 결과는 모델이 성장함에 따라 일반적으로 효율성이 감소한다는 것을 보여줍니다. 최근 몇 년간 출시된 H100 그래픽 카드를 예로 들면 오랫동안 높은 효율성을 유지할 수 있는 반면, V100 그래픽 카드의 효율성은 더 큰 규모의 훈련에 직면할 때 더욱 분명하게 떨어집니다.
Epoch AI의 실험에서 GTX580 그래픽 카드의 메모리는 3GB에 불과했습니다. 이 그래픽 카드는 2012년 AlexNet 모델을 훈련할 때 주류 선택이었습니다. 기술이 발전했지만 연구원들은 오래된 하드웨어를 사용하여 대규모 훈련이 가능하지만 필요한 리소스와 비용이 엄청날 것이라고 믿습니다.
또한 시뮬레이터는 여러 데이터 센터에서 복잡한 교육 시뮬레이션을 지원합니다. 사용자는 데이터 센터 크기, 대기 시간, 연결 대역폭과 같은 매개변수를 맞춤화하여 여러 위치에서 훈련 실행을 시뮬레이션할 수 있습니다. 또한 이 도구를 사용하면 최신 그래픽 카드(예: H100 및 A100) 간의 성능 차이를 분석하고, 다양한 배치 크기 및 다중 GPU 교육의 효과를 연구하고, 모델 출력을 문서화하는 자세한 로그 파일을 생성할 수 있습니다.
Epoch AI는 하드웨어 효율성 개선에 대한 이해를 심화하고 칩 수출 통제의 영향을 평가하기 위해 시뮬레이터를 개발했다고 밝혔습니다. 금세기 동안 대규모 훈련 임무가 증가할 것으로 예상됨에 따라 향후 필요한 하드웨어 요구 사항을 이해하는 것이 특히 중요합니다.
전체적으로, Epoch AI의 이 연구 및 시뮬레이터는 대규모 언어 모델 훈련을 위한 중요한 참조 가치를 제공하여 연구자가 하드웨어 효율성을 더 잘 이해하고 훈련 전략을 최적화하며 미래 AI 예측을 위한 보다 안정적인 훈련을 제공하도록 돕습니다.