yal discord bot

Еще один Discord-бот LLaMA

Что это?

Чат-бот для Discord, использующий модель LLaMA от Meta, 4-битное квантование. Модель с 13 миллиардами параметров умещается в менее чем 9 ГБ видеопамяти.

Установка

Прежде чем вы сделаете что-либо из этого, вам понадобится токен бота. Если у вас нет токена бота, следуйте этому руководству, чтобы создать бота, а затем добавьте его на свой сервер.

В настоящее время это только Linux, но вы можете заставить его работать и с другими ОС.

1. Убедитесь, что у вас установлены Python 3.10+, virtualenv ( pip install virtualenv ) и CUDA.
2. Клонируйте бота и настройте виртуальную среду.

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. При этом преобразователи установки разветвляются и игнорируют любые ошибки несовместимости версий.

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. Создайте 4-битное ядро ​​CUDA.

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. Загрузите 4-битную квантованную модель куда-нибудь локально. Для получения информации о больших/меньших 4-битных квантованных весах обратитесь к этой ссылке.

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. Запустите бота.

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

Убедитесь, что $YOUR_BOT_TOKEN и $YOUR_GUILD установлены такие значения, --load-checkpoint=..." указывает на правильное расположение весов, а --llama-model=... указывает на правильное расположение. расположение в Huggingface, чтобы найти конфигурацию весов.

Использование модели ALPACA (рекомендуется)

Вы можете использовать любую модель ALPACA, установив флаг --alpaca , который позволит вам добавлять строки ввода, а также автоматически форматировать ваше приглашение в форме, ожидаемой ALPACA.

Рекомендуемые 4-битные веса ALPACA следующие:

• 13б (элинас/альпака-13б-лора-int4)
• 30б (элинас/альпака-30б-лора-int4)

Или настроенный GPT4 (лучшие ответы на кодирование, более строгие ограничения по содержанию):

• 30b (МетаIX/GPT4-X-Альпака-30B-Int4)

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) Американский президент Джимми Картер, 2023 г.