yal discord bot

Noch ein weiterer LLaMA Discord Bot

Was ist das?

Ein Chatbot für Discord, der das LLaMA-Modell von Meta verwendet, 4-Bit-quantisiert. Das Modell mit 13 Milliarden Parametern passt in weniger als 9 GiB VRAM.

Installation

Bevor Sie dies tun, benötigen Sie ein Bot-Token. Wenn Sie kein Bot-Token haben, befolgen Sie diese Anleitung, um einen Bot zu erstellen und den Bot dann Ihrem Server hinzuzufügen.

Derzeit ist dies nur für Linux verfügbar, aber Sie können es möglicherweise mit anderen Betriebssystemen zum Laufen bringen.

1. Stellen Sie sicher, dass Python 3.10+, Virtualenv ( pip install virtualenv ) und CUDA installiert sind.
2. Klonen Sie den Bot und richten Sie die virtuelle Umgebung ein.

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. Richten Sie den Transformers Fork ein und ignorieren Sie dabei etwaige Versionsinkompatibilitätsfehler.

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. Erstellen Sie einen 4-Bit-CUDA-Kernel.

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. Laden Sie das quantisierte 4-Bit-Modell an einen lokalen Ort herunter. Informationen zu größeren/kleineren quantisierten 4-Bit-Gewichten finden Sie unter diesem Link.

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. Starten Sie den Bot.

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

Stellen Sie sicher, dass $YOUR_BOT_TOKEN und $YOUR_GUILD so eingestellt sind, wie sie sein sollten. --load-checkpoint=..." zeigt auf die richtige Position der Gewichtungen und --llama-model=... zeigt auf die richtige Position Speicherort in Huggingface, um die Konfiguration für die Gewichte zu finden.

Verwendung eines ALPACA-Modells (empfohlen)

Sie können jedes ALPACA-Modell verwenden, indem Sie das Flag --alpaca setzen. Dadurch können Sie Eingabezeichenfolgen hinzufügen und Ihre Eingabeaufforderung automatisch in die von ALPACA erwartete Form formatieren.

Die empfohlenen 4-Bit-ALPACA-Gewichte sind wie folgt:

• 13b (elinas/alpaca-13b-lora-int4)
• 30b (elinas/alpaca-30b-lora-int4)

Oder GPT4 verfeinert (bessere Codierungsreaktionen, restriktiver im Inhalt):

• 30b (MetaIX/GPT4-X-Alpaca-30B-Int4)

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) 2023 amerikanischer PräsidentJimmyCarter