yal discord bot

另一個 LLaMA Discord 機器人

這是什麼？

使用 Meta 的 LLaMA 模型的 Discord 聊天機器人，4 位元量化。 130 億個參數模型可容納在不到 9 GiB VRAM 內。

安裝

在執行任何操作之前，您將需要一個機器人令牌。如果您沒有機器人令牌，請按照本指南建立機器人，然後將機器人新增至您的伺服器。

目前這僅適用於 Linux，但您也許可以使其與其他作業系統一起使用。

1. 確保安裝了 Python 3.10+、virtualenv ( pip install virtualenv ) 和 CUDA。
2. 克隆機器人並設置虛擬環境。

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. 當您執行此操作時，設定轉換器會分叉並忽略任何版本不相容錯誤。

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. 建構 4 位元 CUDA 核心。

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. 將 4 位元量化模型下載到本地某個位置。對於更大/更小的 4 位元量化權重，請參閱此連結。

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. 啟動機器人。

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

確保$YOUR_BOT_TOKEN和$YOUR_GUILD設定為應有的值， --load-checkpoint=..."指向權重的正確位置， --llama-model=...指向正確的權重位置Huggingface 中的位置以查找權重的配置。

使用羊駝毛模型（建議）

您可以透過設定--alpaca標誌來使用任何 ALPACA 模型，這將允許您新增輸入字串並自動將提示格式設定為 ALPACA 所需的形式。

建議的 4 位 ALPAC 權重如下：

• 13b（艾琳娜/羊駝-13b-lora-int4）
• 30b（艾琳娜/羊駝-30b-lora-int4）

或 GPT4 微調（更好的編碼回應，更多的內容限制）：

• 30b（MetaIX/GPT4-X-Alpaca-30B-Int4）

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) 2023 年美國總統吉米卡特