microGPT

microGPT: Construyendo GPT desde cero

microGPT es una implementación ligera del modelo Transformador generativo preentrenado (GPT) para tareas de procesamiento del lenguaje natural. Está diseñado para ser simple y fácil de usar, lo que lo convierte en una excelente opción para aplicaciones a pequeña escala o para aprender y experimentar con modelos generativos.

Características

• Implementación ligera de los modelos GPT.
• Capacitado en un conjunto de datos diverso a pequeña escala (6 GB)
• Diseñado para entrenarse en GPU de consumo (RTX 4060 8 GB)
• Pequeño número de parámetros (¡82 millones!)
• Hiperparámetros personalizables para la configuración del modelo.
• Admite filtrado Top K Top P y escalado de temperatura
• Escrito en Python con PyTorch como marco de aprendizaje profundo

300.000 iteraciones de entrenamiento

Instalación

1. Clona el repositorio y ejecuta pip install -r requirements.txt

Uso

1. Ejecute tokenizer/train_tokenizer.py para generar el archivo tokenizer. El modelo tokenizará el texto basándose en él.
2. Ejecute datasets/prepare_dataset.py para generar archivos de conjunto de datos.
3. Ejecute train.py para comenzar a entrenar ~

Modifique los archivos indicados anteriormente si desea cambiar sus parámetros.

Uso (Inferencia)

Para editar los parámetros de generación del modelo, dirígete inference.py a esta sección:

 # Parameters (Edit here):
n_tokens = 1000
temperature = 0.8
top_k = 0
top_p = 0.9
model_path = 'models/microGPT.pth'

# Edit input here
context = "The magical wonderland of"

¿Está interesado en implementarla como una aplicación web? ¡Mira la implementación de microGPT!

Ventajas de microGPT:

1. Eficiencia desde cero: Desarrollado desde cero, microGPT representa un enfoque optimizado para el estimado modelo GPT. Muestra una eficiencia notable al tiempo que mantiene una ligera compensación en calidad.

2. Área de aprendizaje: diseñada para personas deseosas de profundizar en el mundo de la IA, la arquitectura de microGPT ofrece una oportunidad única para comprender el funcionamiento interno de los modelos generativos. Es una plataforma de lanzamiento para perfeccionar sus habilidades y profundizar su comprensión.

3. Potencia a pequeña escala: más allá del aprendizaje y la experimentación, microGPT es una opción adecuada para aplicaciones a pequeña escala. Le permite integrar la generación de lenguaje impulsada por IA en proyectos donde la eficiencia y el rendimiento son primordiales.

Empoderamiento a través de la adaptabilidad:

1. Capacidades de personalización: la adaptabilidad de microGPT le permite modificar y ajustar el modelo para adaptarlo a sus objetivos específicos, ofreciendo un lienzo para crear soluciones de IA adaptadas a sus necesidades.

2. Viaje de aprendizaje: utilice microGPT como trampolín para comprender los fundamentos de los modelos generativos. Su diseño y documentación accesibles proporcionan un entorno ideal para quienes son nuevos en la IA.

3. Laboratorio de experimentación: participe en experimentos ajustando y probando los parámetros de microGPT. La simplicidad y versatilidad del modelo proporcionan un terreno fértil para la innovación.

Contribución

Si desea contribuir, siga estas pautas:

• Bifurca el repositorio y crea una nueva rama para tu contribución.
• Asegúrese de que sus cambios se alineen con los objetivos y el propósito del repositorio.
• Mantenga sus confirmaciones claras y descriptivas, siguiendo el formato de confirmaciones convencionales.
• Escriba código claro y conciso con comentarios y documentación adecuados.
• Pruebe sus cambios minuciosamente para asegurarse de que no introduzcan nuevos errores.
• Envíe una solicitud de extracción (PR) con una descripción detallada de sus cambios, junto con cualquier información relevante o capturas de pantalla.

Al contribuir a este repositorio, usted acepta cumplir con nuestro Código de conducta y que sus contribuciones se publicarán bajo la misma Licencia que el repositorio.

Recursos

• Atención es todo lo que necesitas
• Construyamos GPT desde cero
• El desafío MiniPile para modelos de lenguaje eficientes en datos
• Implementación de Huggingface GPT 2

Créditos

Este modelo está inspirado en Andrej Karpathy. Construyamos GPT desde cero y Andrej Kaparthy nanoGPT con modificaciones para este proyecto.