yal discord bot

Otro robot de discordia LLaMA más

¿Qué es esto?

Un chatbot para Discord que utiliza el modelo LLaMA de Meta, cuantificado en 4 bits. El modelo de 13 mil millones de parámetros cabe en menos de 9 GiB de VRAM.

Instalación

Antes de hacer algo de esto, necesitará un token de bot. Si no tiene un token de bot, siga esta guía para crear un bot y luego agréguelo a su servidor.

Actualmente esto es sólo Linux, pero es posible que puedas hacerlo funcionar con otros sistemas operativos.

1. Asegúrese de tener Python 3.10+, virtualenv ( pip install virtualenv ) y CUDA instalados.
2. Clona el bot y configura el entorno virtual.

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. Configure la bifurcación de los transformadores e ignore cualquier error de incompatibilidad de versión cuando haga esto.

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. Construya un kernel CUDA de 4 bits.

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. Descargue el modelo cuantificado de 4 bits en algún lugar local. Para pesos cuantificados de 4 bits más grandes o más pequeños, consulte este enlace.

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. Enciende el robot.

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

Asegúrese de que $YOUR_BOT_TOKEN y $YOUR_GUILD estén configurados en lo que deberían ser, --load-checkpoint=..." apunta a la ubicación correcta de los pesos y --llama-model=... apunta a la ubicación correcta. ubicación en Huggingface para encontrar la configuración de las pesas.

Usando un modelo ALPACA (Recomendado)

Puede usar cualquier modelo de ALPACA configurando el indicador --alpaca , que le permitirá agregar cadenas de entrada y formatear automáticamente su mensaje en la forma esperada por ALPACA.

Los pesos ALPACA de 4 bits recomendados son los siguientes:

• 13b (elinas/alpaca-13b-lora-int4)
• 30b (elinas/alpaca-30b-lora-int4)

O GPT4 ajustado (mejores respuestas de codificación, contenido más restrictivo):

• 30b (MetaIX/GPT4-X-Alpaca-30B-Int4)

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) Presidente estadounidense de 2023, Jimmy Carter