SmallLanguageModel

Modelo de lenguaje pequeño

Este repositorio contiene todos los elementos necesarios para crear su propio LLM desde cero. Simplemente sigue las instrucciones. Inspirándome en el nanoGPT de Karpathy y el generador de Shakespeare, creé este repositorio para construir mi propio LLM. Tiene de todo, desde recopilación de datos para el modelo hasta archivo de arquitectura, tokenizador y archivo de tren.

Estructura de repositorio

Este repositorio contiene:

1. Recopilador de datos: directorio que contiene Web-Scrapper, en caso de que desee recopilar los datos desde cero en lugar de descargarlos.
2. Procesamiento de datos: directorio que contiene código para preprocesar ciertos tipos de archivos, como convertir archivos de parquet a archivos .txt y .csv y códigos para agregar archivos.
3. Modelos: contiene todo el código necesario para entrenar un modelo propio. Un modelo BERT, un modelo GPT y un modelo Seq-2-Seq junto con tokenizador y archivos de ejecución.

Requisitos previos

Antes de configurar SmallLanguageModel, asegúrese de tener instalados los siguientes requisitos previos:

1. Python 3.8 o superior
2. pip (instalador del paquete Python)

Cómo utilizar:

Siga estos pasos para entrenar su propio tokenizador o generar resultados a partir del modelo entrenado:

1. Clona este repositorio:

   git clone https://github.com/shivendrra/SmallLanguageModel-project
   cd SLM-clone

2. Instalar dependencias:

   pip install requirements.txt

3. Entrenar: Lea el archivo Training.md para obtener más información. Síguelo.

Historia de las estrellas

Contribuyendo

Las solicitudes de extracción son bienvenidas. Para cambios importantes, primero abra un problema para discutir lo que le gustaría cambiar. Asegúrese de actualizar las pruebas según corresponda.

Licencia

Licencia MIT. Consulte License.md para obtener más información.