gpt j chatbot

Una plantilla de chatbot de novias con personajes de IA con tecnología GPT-J

La intención de esta plantilla es servir como una guía de introducción rápida para otros desarrolladores que buscan crear personajes personalizados con tecnología de IA.

Demostración web en vivo

Jeanie es una novia virtual impulsada por GPT-J basada en este repositorio

Requisitos para ejecutarlo localmente en una computadora portátil

• Windows/Mac/Linux con Git instalado
• Pitón 3.5+
• Token API MessengerX.io: GRATIS para desarrolladores independientes
• Ngrok para túneles
• Computadora de escritorio/portátil con un mínimo de 16 GB de RAM
• Se requiere GPU para una inferencia más rápida
• EleutherAI/gpt-neo-1.3B (Tenga paciencia, la primera carga y/o la primera inferencia pueden llevar tiempo)
• Token NLPCloud.io - (Opcional)

Configuración local

Descarga o clona este repositorio

 git clone [email protected]:machaao/gpt-j-chatbot.git

cd gpt-j-chatbot

Requisitos de instalación

pip install -r requirements.txt

Cree un nuevo archivo .env en el directorio gpt-j-chatbot

nano -w .env

 API_TOKEN = <Machaao API Token>
BASE_URL = <Machaao Base Url> ex: https://ganglia.machaao.com
NAME = <Your Bot Display Name> ex: Jess
DASHBOT_KEY = <Your dashbot token> (Optional) (Conversational Analytics)
MODEL_NAME=EleutherAI/gpt-neo-1.3B # for local inference / testing [we recommend using GPT-NEO 1.3B for 16GB ram - load can take up to 1 min and inference avg is about 10 - 20 seconds] See https://huggingface.co/EleutherAI for additional models
NLP_CLOUD_TOKEN = <NLP Cloud Token>  # for faster remote inference


# BOT PARAMS - Unset Parameters would use their default values.
# Don't use Top_p and Temperature parameters simultaneously.
# Default Values are mentioned below.
# The higher this value, the less deterministic the result will be
TOP_P="1.0" 
# The higher this value, the less deterministic the result will be
TEMPERATURE="0.8"
# The lower this value, the less likely GPT-J is going to generate off-topic text
TOP_K="50"
# The maximum number of tokens that the generated text should contain
MAX_LENGTH="50"

Para comprender mejor los parámetros GPT-J anteriores, consulte los documentos de nlpcloud.io

Obtenga la clave API de MessengerX.io

• Obtenga su token API de desarrollador GRATIS a través de MessengerX.io, reemplácelo en el archivo .env debajo de la entrada API_TOKEN
• MessengerX.io le permite crear e integrar un chatbot personalizado en su sitio web o aplicación

Obtenga la clave API de NLPCloud.io (recomendada para producción)

• Puede adquirir una clave API de NLPCloud a través de NLP Cloud y reemplazarla en el archivo .env bajo la entrada NLP_CLOUD_TOKEN

Obtenga la CLAVE API de Dashbot.io (recomendada para producción)

• Puede adquirir la clave API a través de Dashbot.io y reemplazarla en el archivo .env bajo la entrada DASHBOT_KEY

Modifique logic/prompt.txt para cambiar el guión del personaje

 bot_name is a very understanding girl
bot_name and stranger are seeing each other
Here is a recent discussion between stranger and bot_name
###
stranger: hi
bot_name: hello there

Modifique la función core() en logic/bot_logic.py para personalizar las respuestas

 def core(self, req: str, user_id: str):

• Consulte la documentación de la plataforma para conocer las opciones de personalización.

Ejecute el servidor de chatbot desde el directorio raíz del repositorio

 python app.py

Iniciar el túnel ngrok.io

 ngrok http 5000

Actualiza tu webhook

Actualice la URL del Webhook de su bot en el portal MessengerX.io con la URL proporcionada como se muestra a continuación para continuar con el desarrollo.

 If you use [Ngrok.io](https://ngrok.io), your webhook URL would be of the format as in the example below
https://1234-115-187-40-104.ngrok.io/machaao/hook

Pruebe su robot:

Visita: https://messengerx.io/<bot-name>

Configuración remota (Heroku)

Suponemos que tiene acceso a una cuenta heroku y ha instalado el cliente de línea de comandos heroku para su sistema operativo.

Iniciar sesión en Heroku

 heroku login

Crea una nueva aplicación en Heroku y anota el nombre de tu aplicación heroku

 heroku create

Confirmar cambios y enviar el repositorio a Heroku

 git commit -m ".env updated"
git push heroku master

Abra los registros para confirmar la implementación exitosa

 heroku logs --tail

Actualiza tu webhook

Actualice la URL del Webhook de su bot en el portal MessengerX.io con la URL de la aplicación heroku

 Webhook Url: <YOUR-HEROKU-APP-URL>/machaao/hook

Pruebe su robot:

Visita: https://messengerx.io/<your-character-name>

Problemas conocidos (en Mac M1+)

 Tips for MPS on Mac [Use Nightly Build]
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu

• Ejecutar en MPS es inestable
• Ejecutar en CPU es confiable pero más lento
• Tiempo de inferencia aproximado > 60 segundos en Mac M1 Pro 2021 / 16GB (GPT-Neo)

Notas / Recursos adicionales

• Tenga en cuenta que este documento no pretende utilizarse como guía para la configuración del entorno de producción.
• Comuníquese con nosotros en Twitter para cualquier consulta.