Lanzador del marco NeMo
24.07
Importante
NeMo Framework Launcher es compatible únicamente con la versión 1.0 de NeMo.
NeMo Framework Launcher es una herramienta nativa de la nube para lanzar trabajos de capacitación de NeMo Framework de un extremo a otro.
Consulte la Guía del iniciador NeMo para obtener más información.
NeMo Framework se centra en el entrenamiento de modelos básicos para modelos de IA generativa. El preentrenamiento de modelos de lenguaje grande (LLM) generalmente requiere mucha computación y paralelismo de modelos para escalar el entrenamiento de manera eficiente. NeMo Framework incluye lo último en técnicas de capacitación a gran escala, que incluyen:
El entrenamiento del modelo NeMo Framework escala a miles de GPU y se puede usar para entrenar LLM en billones de tokens.
El iniciador está diseñado para ser una herramienta simple y fácil de usar para iniciar trabajos de capacitación de NeMo FW en CSP o clústeres locales. El lanzador se utiliza normalmente desde un nodo principal y solo requiere una instalación mínima de Python.
El iniciador generará e iniciará scripts de envío para el programador del clúster y también organizará y almacenará los resultados de los trabajos. Los archivos de configuración probados se incluyen con el iniciador, pero el usuario puede modificar fácilmente cualquier contenido de un archivo de configuración.
El NeMo FW Launcher se prueba con el NeMo FW Container, que se puede solicitar aquí. El acceso es automático. Los usuarios también pueden configurar fácilmente el iniciador para utilizar cualquier imagen de contenedor que quieran proporcionar.
El lanzador NeMo FW admite:
Algunos de los modelos que admitimos incluyen:
Consulte la Matriz de funciones para obtener más detalles.
NeMo Framework Launcher debe instalarse en un nodo principal o en una máquina local en un entorno virtual de Python.
git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txtLa mejor manera de comenzar con NeMo Framework Launcher es consultar los manuales de NeMo Framework.
Una vez que todo esté configurado en los archivos .yaml , el Iniciador se puede ejecutar con:
python main.py Dado que el Lanzador usa Hydra, cualquier configuración se puede anular directamente en el archivo .yaml o mediante la línea de comando. Consulte la gramática de anulación de Hydra para obtener más información.
¡Las contribuciones son bienvenidas!
Para contribuir al NeMo Framework Launcher, simplemente cree una solicitud de extracción con los cambios en GitHub. Después de que un desarrollador de NeMo FW revise la solicitud de extracción, la apruebe y pase las pruebas unitarias y de CI, se fusionará.
NeMo Framework Launcher tiene la licencia Apache 2.0
