Lançador de estrutura NeMo

Lançador de estrutura NeMo

Importante

O NeMo Framework Launcher é compatível apenas com o NeMo versão 1.0.

O NeMo Framework Launcher é uma ferramenta nativa da nuvem para lançar trabalhos de treinamento completos do NeMo Framework.

Consulte o Guia do NeMo Launcher para obter mais informações.

O NeMo Framework se concentra no treinamento de modelos básicos para modelos generativos de IA. O pré-treinamento de modelo de linguagem grande (LLM) normalmente requer muita computação e paralelismo de modelo para dimensionar o treinamento com eficiência. O NeMo Framework inclui o que há de mais moderno em técnicas de treinamento em larga escala, incluindo:

• Paralelismo de modelo
  • Tensor
  • Gasoduto
  • Sequência
• Otimizador Distribuído
• Treinamento de precisão mista
  • 8º PQ
  • BF16
• Ponto de verificação distribuído
• Modelos Comunitários
  • LAMA-2

O treinamento do modelo NeMo Framework é dimensionado para milhares de GPUs e pode ser usado para treinar LLMs em trilhões de tokens.

O Launcher foi projetado para ser uma ferramenta simples e fácil de usar para lançar trabalhos de treinamento NeMo FW em CSPs ou clusters locais. O iniciador normalmente é usado a partir de um nó principal e requer apenas uma instalação mínima do python.

O Launcher irá gerar e lançar scripts de envio para o agendador de cluster e também organizar e armazenar resultados de jobs. Arquivos de configuração testados estão incluídos no inicializador, mas qualquer coisa em um arquivo de configuração pode ser facilmente modificada pelo usuário.

O NeMo FW Launcher é testado com o NeMo FW Container, que pode ser solicitado aqui. O acesso é automático. Os usuários também podem configurar facilmente o inicializador para usar qualquer imagem de contêiner que desejarem fornecer.

O iniciador NeMo FW suporta:

• Instalação e configuração de cluster
• Download, curadoria e processamento de dados
• Configuração paralela do modelo
• Treinamento de modelo
• Ajuste fino do modelo (SFT e PEFT)
• Avaliação do modelo
• Exportação e implantação de modelo

Alguns dos modelos que apoiamos incluem:

• GPT
  • Pré-treinamento, ajuste fino, SFT, PEFT
• BERTO
• T5/MT5
  • PEFT, MoE (não especialista)

Consulte a Matriz de recursos para obter mais detalhes.

Instalação

O NeMo Framework Launcher deve ser instalado em um nó principal ou em uma máquina local em um ambiente python virtual.

git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txt

Uso

A melhor maneira de começar a usar o NeMo Framework Launcher é consultar os NeMo Framework Playbooks

Depois que tudo estiver configurado nos arquivos .yaml , o Launcher poderá ser executado com:

python main.py

Como o Launcher usa Hydra, qualquer configuração pode ser substituída diretamente no arquivo .yaml ou por meio da linha de comando. Consulte a gramática de substituição do Hydra para obter mais informações.

Contribuindo

Contribuições são bem-vindas!

Para contribuir com o NeMo Framework Launcher, basta criar um pull request com as alterações no GitHub. Depois que a solicitação pull for revisada por um desenvolvedor NeMo FW, aprovada e aprovada nos testes de unidade e CI, ela será mesclada.

Licença

O NeMo Framework Launcher está licenciado sob a licença Apache 2.0