yal discord bot

Encore un autre robot Discord LLaMA

Qu'est-ce que c'est?

Un chatbot pour Discord utilisant le modèle LLaMA de Meta, quantifié sur 4 bits. Le modèle de 13 milliards de paramètres s’inscrit dans moins de 9 Gio de VRAM.

Installation

Avant de faire quoi que ce soit, vous aurez besoin d’un jeton de bot. Si vous n'avez pas de jeton de bot, suivez ce guide pour créer un bot, puis ajoutez le bot à votre serveur.

Actuellement, il s'agit uniquement de Linux, mais vous pourrez peut-être le faire fonctionner avec d'autres systèmes d'exploitation.

1. Assurez-vous que Python 3.10+, virtualenv ( pip install virtualenv ) et CUDA sont installés.
2. Clonez le bot et configurez l'environnement virtuel.

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. Configurez le fork des transformateurs et ignorez toute erreur d’incompatibilité de version lorsque vous effectuez cette opération.

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. Créez un noyau CUDA 4 bits.

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. Téléchargez le modèle quantifié 4 bits dans un endroit local. Pour les poids quantifiés sur 4 bits plus grands/plus petits, reportez-vous à ce lien.

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. Lancez le bot.

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

Assurez-vous que $YOUR_BOT_TOKEN et $YOUR_GUILD sont définis sur ce qu'ils devraient être, --load-checkpoint=..." pointe vers l'emplacement correct des poids et --llama-model=... pointe vers le bon emplacement. emplacement dans Huggingface pour trouver la configuration des poids.

Utiliser un modèle ALPACA (Recommandé)

Vous pouvez utiliser n'importe quel modèle ALPACA en définissant l'indicateur --alpaca , qui vous permettra d'ajouter des chaînes d'entrée ainsi que de formater automatiquement votre invite sous la forme attendue par ALPACA.

Les poids ALPACA 4 bits recommandés sont les suivants :

• 13b (elinas/alpaca-13b-lora-int4)
• 30b (elinas/alpaca-30b-lora-int4)

Ou GPT4 affiné (meilleures réponses de codage, contenu plus restrictif) :

• 30b (MetaIX/GPT4-X-Alpaca-30B-Int4)

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) Jimmy Carter, président américain de 2023