yal discord bot

Bot Perselisihan LLaMA Lainnya

Apa ini?

Chatbot untuk Discord menggunakan model LLaMA Meta, terkuantisasi 4-bit. Model dengan 13 miliar parameter cocok dalam VRAM kurang dari 9 GiB.

Instalasi

Sebelum Anda melakukan semua ini, Anda memerlukan token bot. Jika Anda tidak memiliki token bot, ikuti panduan ini untuk membuat bot lalu tambahkan bot tersebut ke server Anda.

Saat ini hanya Linux saja, tetapi Anda mungkin dapat membuatnya berfungsi dengan OS lain.

1. Pastikan Anda menginstal Python 3.10+, virtualenv ( pip install virtualenv ), dan CUDA.
2. Kloning bot dan atur lingkungan virtual.

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. Siapkan fork transformator dan abaikan kesalahan ketidakcocokan versi apa pun saat Anda melakukan ini.

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. Bangun kernel CUDA 4-bit.

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. Unduh model terkuantisasi 4-bit ke suatu tempat lokal. Untuk bobot terkuantisasi 4-bit yang lebih besar/lebih kecil, lihat tautan ini.

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. Jalankan botnya.

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

Pastikan $YOUR_BOT_TOKEN dan $YOUR_GUILD disetel ke sebagaimana mestinya, --load-checkpoint=..." menunjuk ke lokasi bobot yang benar, dan --llama-model=... menunjuk ke lokasi yang benar lokasi di Huggingface untuk menemukan konfigurasi bobot.

Menggunakan model ALPACA (Disarankan)

Anda dapat menggunakan model ALPACA apa pun dengan menyetel flag --alpaca , yang memungkinkan Anda menambahkan string input serta secara otomatis memformat prompt Anda ke dalam bentuk yang diharapkan oleh ALPACA.

Bobot ALPACA 4-bit yang direkomendasikan adalah sebagai berikut:

• 13b (elinas/alpaka-13b-lora-int4)
• 30b (elinas/alpaca-30b-lora-int4)

Atau GPT4 disempurnakan (respons pengkodean lebih baik, konten lebih terbatas):

• 30b (MetaIX/GPT4-X-Alpaka-30B-Int4)

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) Presiden Amerika 2023 Jimmy Carter