yal discord bot

LLaMA Discord Bot อีกตัวหนึ่ง

นี่คืออะไร?

แชทบอทสำหรับ Discord โดยใช้โมเดล LLaMA ของ Meta แบบ 4 บิต โมเดลพารามิเตอร์ 13 พันล้านพอดีภายใน VRAM น้อยกว่า 9 GiB

การติดตั้ง

ก่อนที่คุณจะดำเนินการใดๆ คุณจะต้องมีโทเค็นบอท หากคุณไม่มีโทเค็นบอท ให้ทำตามคำแนะนำนี้เพื่อสร้างบอท จากนั้นเพิ่มบอทไปยังเซิร์ฟเวอร์ของคุณ

ปัจจุบันนี้ใช้ได้เฉพาะ Linux เท่านั้น แต่คุณอาจทำให้มันทำงานร่วมกับระบบปฏิบัติการอื่นได้

1. ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้ง Python 3.10+, virtualenv ( pip install virtualenv ) และ CUDA แล้ว
2. โคลนบอทและตั้งค่าสภาพแวดล้อมเสมือน

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. ตั้งค่า Transformers Fork และละเว้นข้อผิดพลาดที่เข้ากันไม่ได้ของเวอร์ชันเมื่อคุณทำเช่นนี้

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. สร้างเคอร์เนล CUDA 4 บิต

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. ดาวน์โหลดโมเดลเชิงปริมาณ 4 บิตไปยังที่ใดที่หนึ่งในพื้นที่ สำหรับตุ้มน้ำหนักเชิงปริมาณ 4 บิตที่ใหญ่กว่า/เล็ก โปรดดูที่ลิงก์นี้

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. เปิดบอทเลย

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

ตรวจสอบให้แน่ใจว่า $YOUR_BOT_TOKEN และ $YOUR_GUILD ได้รับการตั้งค่าตามที่ควรจะเป็น --load-checkpoint=..." ชี้ไปที่ตำแหน่งที่ถูกต้องของตุ้มน้ำหนัก และ --llama-model=... ชี้ไปที่ตำแหน่งที่ถูกต้อง ตำแหน่งใน Huggingface เพื่อค้นหาการกำหนดค่าตุ้มน้ำหนัก

การใช้โมเดล ALPACA (แนะนำ)

คุณสามารถใช้โมเดล ALPACA ใดก็ได้โดยตั้งค่าสถานะ --alpaca ซึ่งจะช่วยให้คุณสามารถเพิ่มสตริงอินพุตและจัดรูปแบบพรอมต์ของคุณให้เป็นรูปแบบที่ ALPACA คาดหวังได้โดยอัตโนมัติ

น้ำหนัก ALPACA 4 บิตที่แนะนำมีดังนี้:

• 13b (เอลินาส/alpaca-13b-lora-int4)
• 30b (เอลินาส/alpaca-30b-lora-int4)

หรือปรับแต่ง GPT4 (ตอบสนองการเข้ารหัสที่ดีขึ้น เนื้อหามีข้อจำกัดมากขึ้น):

• 30b (MetaIX/GPT4-X-Alpaca-30B-Int4)

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) ประธานาธิบดีอเมริกันปี 2023JimmyCarter