Simplifine
1.0.0
Prueba aquí
Únete a nuestra discordia
Simplifine agiliza el ajuste de LLM en cualquier conjunto de datos o modelo con un simple comando, manejando toda la infraestructura, gestión de trabajos, almacenamiento en la nube e inferencia.
Fácil ajuste de LLM basado en la nube: ajuste cualquier LLM con un solo comando.
Integración perfecta en la nube: administre automáticamente la descarga, el almacenamiento y la ejecución de modelos directamente desde la nube.
Asistencia de IA integrada: obtenga ayuda con la selección de hiperparámetros, la generación de conjuntos de datos sintéticos y las comprobaciones de calidad de los datos.
Cambio del dispositivo a la nube: agregue un decorador simple para realizar la transición de la capacitación local a la basada en la nube.
Optimización automática: optimiza automáticamente la paralelización de modelos y datos a través de Deepspeed ✅ y FDSP ✅.
Soporte de evaluación personalizada: utilice el LLM integrado para funciones de evaluación o importe sus propias métricas de evaluación personalizadas.
Soporte comunitario: hacer cualquier pregunta de soporte en Simplifine Community Discord.
Con la confianza de instituciones líderes: los laboratorios de investigación de la Universidad de Oxford confían en Simplifine para sus necesidades de ajuste de LLM.
Comience aquí >
Encuentre nuestra documentación completa en docs.simplifine.com.
Instalación desde PyPI
instalación de pip simplifine-alfa
También puedes instalar directamente desde github usando el siguiente comando:
pip instalar git+https://github.com/simplifine-llm/Simplifine.git
¡Estamos buscando colaboradores! Únase al hilo contributors en nuestro Discord:
Simplifine tiene la licencia GNU General Public License Versión 3. Consulte el archivo LICENCIA para obtener más detalles.
Para todas las solicitudes de funciones, errores y soporte, ¡únete a nuestro Discord!
Si tiene alguna sugerencia sobre nuevas funciones que le gustaría que se implementaran, plantee un problema: ¡trabajaremos arduamente para que esto suceda lo antes posible!
Para cualquier otra pregunta, no dude en contactarnos en [email protected].
? Corrección de errores: código optimizado y problemas relacionados con el entrenador resueltos para un funcionamiento más fluido.
Nueva característica: se introdujo soporte para definir archivos de configuración más complejos, mejorando la flexibilidad del entrenador.
Documentación: se agregaron nuevos ejemplos, incluidos tutoriales sobre capacitación basada en la nube y la creación de un detector de noticias falsas.
? Documentación actualizada: consulte los documentos más recientes en docs.simplifine.com.
? Corrección de errores: se solucionaron problemas que causaban fallas de carga en ciertas configuraciones, lo que garantiza una compatibilidad más amplia.
Nueva característica: habilitó la instalación directa desde Git y agregó soporte para tokens API de Hugging Face, lo que permite el acceso a modelos restringidos.
Documentación: ejemplos actualizados para reflejar las últimas funciones.
Actualmente admitimos DistributedDataParallel (DDP) y ZeRO de DeepSpeed.
TL;DR :
DDP es útil cuando un modelo cabe en la memoria de la GPU (esto incluye gradientes y estados de activación).
ZeRO es útil cuando un modelo requiere fragmentación en varias GPU.
Versión más larga :
DDP : Distributed Data Parallel (DDP) crea una réplica del modelo en cada procesador (GPU). Por ejemplo, imagine 8 GPU, cada una con un único punto de datos; esto daría un tamaño de lote de 8. Luego, las réplicas del modelo se actualizan en cada dispositivo. DDP acelera el entrenamiento al paralelizar el proceso de alimentación de datos. Sin embargo, DDP falla si la réplica no cabe en la memoria de la GPU. Recuerde, la memoria no solo alberga parámetros sino también gradientes y estados del optimizador.
ZeRO : ZeRO es una poderosa optimización desarrollada por DeepSpeed y viene en diferentes etapas (1, 2 y 3). Cada etapa fragmenta diferentes partes del proceso de entrenamiento (parámetros, gradientes y estados de activación). Esto es realmente útil si un modelo no cabe en la memoria de la GPU. ZeRO también admite la descarga a la CPU, lo que deja aún más espacio para entrenar modelos más grandes.
Modelo LLaMA-3-8b con precisión de 16 bits : utilice ZeRO Stage 3 en 8 A100.
Modelo LLaMA-3-8b con adaptadores LoRA : normalmente funciona con DDP en A100.
GPT-2 con precisión de 16 bits : utilice DDP.
Problema: RuntimeError: Error al crear la extensión 'cpu_adam' python dev
Este error ocurre cuando python-dev no está instalado y ZeRO está usando la descarga. Para resolver esto, intente:
# Pruebe sudo apt-get install python3-dev si lo siguiente falla.apt-get install python-dev # para instalaciones de Python 2.xsapt-get install python3-dev # para instalaciones de Python 3.x
Ver este enlace
