Программа запуска NeMo Framework

Программа запуска NeMo Framework

Важный

NeMo Framework Launcher совместим только с NeMo версии 1.0.

NeMo Framework Launcher — это облачный инструмент для запуска комплексных учебных заданий NeMo Framework.

Для получения дополнительной информации обратитесь к руководству по запуску NeMo.

NeMo Framework фокусируется на базовом обучении моделей генеративного ИИ. Предварительное обучение модели большого языка (LLM) обычно требует большого объема вычислений и параллелизма моделей для эффективного масштабирования обучения. NeMo Framework включает в себя новейшие методы крупномасштабного обучения, в том числе:

• Модельный параллелизм
  • Тензор
  • Трубопровод
  • Последовательность
• Распределенный оптимизатор
• Тренировка смешанной точности
  • РП8
  • БФ16
• Распределенная контрольная точка
• Модели сообщества
  • ЛЛАМА-2

Обучение модели NeMo Framework масштабируется до тысяч графических процессоров и может использоваться для обучения LLM на триллионах токенов.

Средство запуска представляет собой простой и удобный инструмент для запуска учебных заданий NeMo FW на CSP или локальных кластерах. Средство запуска обычно используется с головного узла и требует лишь минимальной установки Python.

Средство запуска сгенерирует и запустит сценарии отправки для планировщика кластера, а также упорядочит и сохранит результаты заданий. Протестированные файлы конфигурации включены в программу запуска, но пользователь может легко изменить все в файле конфигурации.

Программа запуска NeMo FW протестирована с контейнером NeMo FW, заявку на который можно подать здесь. Доступ автоматический. Пользователи также могут легко настроить средство запуска на использование любого образа контейнера, который они хотят предоставить.

Программа запуска NeMo FW поддерживает:

• Настройка и настройка кластера
• Загрузка, курирование и обработка данных
• Модель параллельной конфигурации
• Модельное обучение
• Точная настройка модели (SFT и PEFT)
• Оценка модели
• Экспорт и развертывание модели

Некоторые из моделей, которые мы поддерживаем, включают в себя:

• GPT
  • Предварительное обучение, тонкая настройка, SFT, PEFT
• БЕРТ
• Т5/МТ5
  • PEFT, МО (не эксперт)

Более подробную информацию см. в Матрице функций.

Установка

Средство запуска NeMo Framework следует установить на головном узле или локальном компьютере в виртуальной среде Python.

git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txt

Использование

Лучший способ начать работу с NeMo Framework Launcher — просмотреть руководства NeMo Framework.

После того, как все настроено в файлах .yaml , программу запуска можно запустить с помощью:

python main.py

Поскольку программа запуска использует Hydra, любую конфигурацию можно переопределить непосредственно в файле .yaml или через командную строку. Дополнительную информацию см. в грамматике переопределения Hydra.

Содействие

Вклады приветствуются!

Чтобы внести свой вклад в программу запуска NeMo Framework, просто создайте запрос на внесение изменений с изменениями на GitHub. После того как запрос на включение будет рассмотрен разработчиком встроенного программного обеспечения NeMo, одобрен и пройдет модульные и CI-тесты, он будет объединен.

Лицензия

Программа запуска NeMo Framework лицензируется по лицензии Apache 2.0.