NeMo 프레임워크 실행기

NeMo 프레임워크 실행기

중요한

NeMo Framework Launcher는 NeMo 버전 1.0과만 호환됩니다.

NeMo Framework Launcher는 엔드투엔드 NeMo Framework 교육 작업을 실행하기 위한 클라우드 기반 도구입니다.

자세한 내용은 NeMo 실행 프로그램 가이드를 참조하세요.

NeMo 프레임워크는 생성 AI 모델을 위한 기초 모델 교육에 중점을 둡니다. LLM(대형 언어 모델) 사전 학습에는 일반적으로 학습 규모를 효율적으로 조정하기 위해 많은 컴퓨팅 및 모델 병렬 처리가 필요합니다. NeMo Framework에는 다음과 같은 최신 대규모 교육 기술이 포함되어 있습니다.

• 모델 병렬성
  • 텐서
  • 관로
  • 순서
• 분산 최적화 프로그램
• 혼합 정밀 훈련
  • FP8
  • BF16
• 분산 체크포인트
• 커뮤니티 모델
  • 라마-2

NeMo 프레임워크 모델 교육은 1000개의 GPU로 확장되며 수조 개의 토큰에 대한 LLM 교육에 사용할 수 있습니다.

Launcher는 CSP 또는 온프레미스 클러스터에서 NeMo FW 교육 작업을 시작하기 위한 간단하고 사용하기 쉬운 도구로 설계되었습니다. 런처는 일반적으로 헤드 노드에서 사용되며 최소한의 Python 설치만 필요합니다.

Launcher는 클러스터 스케줄러에 대한 제출 스크립트를 생성하고 실행하며 작업 결과를 구성하고 저장합니다. 테스트된 구성 파일은 실행 프로그램에 포함되어 있지만 구성 파일의 모든 내용은 사용자가 쉽게 수정할 수 있습니다.

NeMo FW Launcher는 여기에서 적용할 수 있는 NeMo FW 컨테이너로 테스트되었습니다. 액세스는 자동입니다. 사용자는 제공하려는 컨테이너 이미지를 사용하도록 런처를 쉽게 구성할 수도 있습니다.

NeMo FW 실행 프로그램은 다음을 지원합니다.

• 클러스터 설정 및 구성
• 데이터 다운로드, 선별 및 처리
• 모델 병렬 구성
• 모델 훈련
• 모델 미세 조정(SFT 및 PEFT)
• 모델 평가
• 모델 내보내기 및 배포

우리가 지원하는 일부 모델은 다음과 같습니다.

• GPT
  • 사전 훈련, 미세 조정, SFT, PEFT
• 버트
• T5/MT5
  • PEFT, MoE(비전문가)

자세한 내용은 기능 매트릭스를 참조하세요.

설치

NeMo Framework Launcher는 가상 Python 환경의 헤드 노드 또는 로컬 시스템에 설치되어야 합니다.

git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txt

용법

NeMo 프레임워크 실행기를 시작하는 가장 좋은 방법은 NeMo 프레임워크 플레이북을 살펴보는 것입니다.

.yaml 파일에 모든 항목이 구성된 후 다음을 사용하여 Launcher를 실행할 수 있습니다.

python main.py

Launcher는 Hydra를 사용하므로 모든 구성은 .yaml 파일에서 직접 또는 명령줄을 통해 재정의될 수 있습니다. 자세한 내용은 Hydra의 재정의 문법을 참조하세요.

기여

기여를 환영합니다!

NeMo Framework Launcher에 기여하려면 GitHub에서 변경 사항이 포함된 풀 요청을 생성하기만 하면 됩니다. 풀 요청은 NeMo FW 개발자가 검토하고 승인한 후 단위 및 CI 테스트를 통과한 후 병합됩니다.

특허

NeMo Framework Launcher는 Apache 2.0 라이선스에 따라 라이선스가 부여됩니다.