yal discord bot

روبوت LLaMA Discord آخر

ما هذا؟

روبوت محادثة لـ Discord باستخدام نموذج LLaMA الخاص بـ Meta، مكمّم بـ 4 بت. يتلاءم نموذج المعلمات البالغ عدده 13 مليار مع أقل من 9 جيجا بايت من VRAM.

تثبيت

قبل القيام بأي من هذا، سوف تحتاج إلى رمز بوت. إذا لم يكن لديك رمز بوت مميز، فاتبع هذا الدليل لإنشاء روبوت ثم قم بإضافة الروبوت إلى الخادم الخاص بك.

حاليًا، هذا نظام التشغيل Linux فقط، ولكن قد تتمكن من جعله يعمل مع أنظمة تشغيل أخرى.

1. تأكد من تثبيت Python 3.10+ وvirtualenv ( pip install virtualenv ) وCUDA.
2. استنساخ الروبوت وإعداد البيئة الافتراضية.

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. شوكة محولات الإعداد وتجاهل أي أخطاء عدم توافق الإصدار عند القيام بذلك.

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. بناء نواة CUDA 4 بت.

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. قم بتنزيل النموذج الكمي 4 بت إلى مكان محلي. للحصول على أوزان كمية أكبر/أصغر 4 بت، راجع هذا الرابط.

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. أطلق النار على الروبوت.

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

تأكد من ضبط $YOUR_BOT_TOKEN و $YOUR_GUILD على ما ينبغي أن يكونا عليه، ويشير --load-checkpoint=..." إلى الموقع الصحيح للأوزان، و-- --llama-model=... يشير إلى الموقع الصحيح الموقع في Huggingface للعثور على التكوين للأوزان.

استخدام نموذج ALPACA (مستحسن)

يمكنك استخدام أي نموذج ALPACA عن طريق تعيين علامة --alpaca ، والتي ستسمح لك بإضافة سلاسل إدخال بالإضافة إلى تنسيق مطالبتك تلقائيًا في النموذج المتوقع بواسطة ALPACA.

أوزان ALPACA 4 بت الموصى بها هي كما يلي:

• 13ب (إليناس/ألبكة-13ب-لورا-int4)
• 30ب (إليناس/ألبكة-30ب-لورا-int4)

أو تحسين GPT4 (استجابات ترميز أفضل، وأكثر تقييدًا في المحتوى):

• 30b (MetaIX/GPT4-X-Alpaca-30B-Int4)

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(ج) 2023 الرئيس الأمريكي جيمي كارتر