yal discord bot

또 다른 LLaMA Discord Bot

이게 뭔가요?

4비트 양자화 Meta의 LLaMA 모델을 사용하는 Discord용 챗봇입니다. 130억 개의 매개변수 모델은 9GiB VRAM 미만에 적합합니다.

설치

이 작업을 수행하기 전에 봇 토큰이 필요합니다. 봇 토큰이 없으면 이 가이드에 따라 봇을 만든 다음 서버에 봇을 추가하세요.

현재 이것은 Linux에만 해당되지만 다른 OS에서도 작동하도록 만들 수 있습니다.

1. Python 3.10+, virtualenv( pip install virtualenv ) 및 CUDA가 설치되어 있는지 확인하세요.
2. 봇을 복제하고 가상 환경을 설정합니다.

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. 이 작업을 수행할 때 변환기 포크를 설정하고 버전 비호환성 오류를 무시합니다.

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. 4비트 CUDA 커널을 빌드합니다.

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. 4비트 양자화 모델을 로컬 어딘가에 다운로드합니다. 더 크거나 작은 4비트 양자화 가중치에 대해서는 이 링크를 참조하세요.

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. 봇을 실행하세요.

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

$YOUR_BOT_TOKEN 및 $YOUR_GUILD 가 올바른 값으로 설정되었는지, --load-checkpoint=..." 가 올바른 가중치 위치를 가리키고 --llama-model=... 이 올바른 위치를 가리키고 있는지 확인하세요. 가중치에 대한 구성을 찾으려면 Huggingface의 위치를 ​​확인하세요.

ALPACA 모델 사용(권장)

--alpaca 플래그를 설정하여 모든 ALPACA 모델을 사용할 수 있습니다. 이를 통해 입력 문자열을 추가할 수 있을 뿐만 아니라 자동으로 프롬프트 형식을 ALPACA에서 예상하는 형식으로 지정할 수 있습니다.

권장되는 4비트 ALPACA 가중치는 다음과 같습니다.

• 13b(엘리나스/alpaca-13b-lora-int4)
• 30b(엘리나스/alpaca-30b-lora-int4)

또는 GPT4 미세 조정(더 나은 코딩 응답, 더 제한적인 콘텐츠):

• 30b(MetaIX/GPT4-X-Alpaca-30B-Int4)

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) 2023년 미국 대통령지미 카터