lad gpt

Entrena un modelo de lenguaje en tus chats de WhatsApp

Descripción general

Este repositorio facilita el entrenamiento de un modelo de lenguaje a nivel de caracteres o de palabras basado únicamente en los mensajes de chat de WhatsApp. Después del entrenamiento del modelo, se puede iniciar una conversación sintética con los capacitados en el grupo de chat de Whatsapp.

• Mensajes de chat: he entrenado de forma privada al modelo en chats de Whatsapp de un grupo con >8 millones de caracteres. assets/input/chat.txt es solo un marcador de posición, que debe reemplazarse con el corpus real de mensajes de chat.
• Modelo de lenguaje: el modelo sigue de cerca la arquitectura introducida en "La atención es todo lo que necesitas" (2017) de Vaswani et. al.. Además, la implementación del modelo en pytorch está fuertemente inspirada en un video tutorial de Andrew Kaparty.
• Resultados: Si bien el rendimiento general de mi modelo entrenado de forma privada claramente no es comparable con los modelos de lenguaje sota, el texto generado exhibe claramente patrones lingüísticos y vocabulario reconocibles.

Estructura de carpetas

 |-- assets
|   |-- input
|   |   |-- chat.txt
|   |-- output
|   |   |-- contacts.txt
|   |   |-- vocab.txt
|   |   |-- train.pt
|   |   |-- valid.pt
|   |-- models
|   |   |--model.pt
|-- src
|   |-- chat.py
|   |-- model.py
|   |-- preprocess.py
|   |-- train.py
|   |-- utils.py
|-- config.py
|-- run.py

Descripción de activos:

• assets/input/chat.txt: el archivo de entrada debe ser un chat de WhatsApp exportado (sin medios).
• assets/output/: Los datos codificados de entrenamiento/validación y el modelo entrenado se escribirán en esta ubicación.
• assets/models/model.pt: objeto modelo pytorch entrenado.

Descripción del módulo:

• src/preprocess.py: convierte mensajes de chat en tensores PyTorch codificados. Los datos se dividen en conjuntos de entrenamiento y validación.
• src/model.py: define la clase del modelo de lenguaje.
• src/train.py: contiene código para entrenar el modelo de lenguaje.
• src/chat.py: Contiene la función para la interacción conversacional con el modelo.
• src/utils.py: otras funciones de utilidad útiles.
• run.py: el script principal con un analizador de argumentos para llamar a cualquiera de las tres acciones ("preproceso", "entrenamiento", "chat").
• config.py: se registran los parámetros para el preprocesamiento y el entrenamiento del modelo.

Cómo empezar

Instalación:

 git clone https://github.com/bernhard-pfann/lad-gpt.git
cd lad-gpt
pip install -r requirements.txt

Para utilizar este proyecto por completo, necesitará un archivo .txt que contenga mensajes de un chat de WhatsApp. Estos son los pasos para exportar su chat grupal de WhatsApp a un archivo .txt:

Para usuarios de Android:

1. Abra WhatsApp y navegue hasta el chat grupal: abra la aplicación WhatsApp en su dispositivo Android y vaya al chat grupal que desea exportar.
2. Toque los tres puntos: normalmente se encuentran en la esquina superior derecha de la ventana de chat.
3. Más -> Exportar chat: elija 'Más' en el menú desplegable y luego seleccione 'Exportar chat'.
4. Elija Sin medios: tendrá la opción de incluir o excluir medios. Elija 'Sin medios' para exportar solo los mensajes de texto.
5. Seleccione el método de exportación: se le pedirá que seleccione cómo desea exportar el chat. Puedes enviarlo a tu correo electrónico y desde allí descargarlo como un archivo .txt.

Para usuarios de iPhone:

1. Abra WhatsApp y navegue hasta el chat grupal: abra la aplicación WhatsApp en su iPhone y navegue hasta el chat grupal que desea exportar.
2. Toque el Nombre del grupo: está en la parte superior de la ventana de chat para ir a "Información del grupo".
3. Desplácese hacia abajo y exporte el chat: desplácese hacia abajo y verá la opción "Exportar chat". Tócalo.
4. Elija Sin medios: aparecerá una ventana emergente que le preguntará si desea incluir archivos multimedia. Seleccione 'Sin medios'.
5. Seleccionar método de exportación: elija una opción para exportar el chat, por ejemplo, a través de correo. Luego puede descargar el archivo de texto desde su correo electrónico.

Una vez que tenga el archivo .txt, colóquelo en el directorio assets/input , llamado chat.txt . ¡Entonces estás listo para comenzar!

Instrucciones de terminal

Una vez que los datos de entrada están en su lugar, los chats deben codificarse en tensores numéricos. Los datos codificados también se dividen en conjuntos de entrenamiento y validación:

 python run.py preprocess

Entrenar un modelo de lenguaje desde cero y basándose únicamente en los datos codificados del chat. Configure --update en caso de que desee continuar entrenando un modelo que ya existe.

 python run.py train --update

Para iniciar un chat con el modelo entrenado:

 python run.py chat