yal discord bot

另一个 LLaMA Discord 机器人

这是什么？

使用 Meta 的 LLaMA 模型的 Discord 聊天机器人，4 位量化。 130 亿个参数模型可容纳在不到 9 GiB VRAM 内。

安装

在执行任何操作之前，您将需要一个机器人令牌。如果您没有机器人令牌，请按照本指南创建机器人，然后将机器人添加到您的服务器。

目前这仅适用于 Linux，但您也许可以使其与其他操作系统一起使用。

1. 确保安装了 Python 3.10+、virtualenv ( pip install virtualenv ) 和 CUDA。
2. 克隆机器人并设置虚拟环境。

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. 当您执行此操作时，设置转换器会分叉并忽略任何版本不兼容错误。

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. 构建 4 位 CUDA 内核。

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. 将 4 位量化模型下载到本地某个位置。对于更大/更小的 4 位量化权重，请参阅此链接。

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. 启动机器人。

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

确保$YOUR_BOT_TOKEN和$YOUR_GUILD设置为应有的值， --load-checkpoint=..."指向权重的正确位置， --llama-model=...指向正确的权重位置Huggingface 中的位置以查找权重的配置。

使用羊驼毛模型（推荐）

您可以通过设置--alpaca标志来使用任何 ALPACA 模型，这将允许您添加输入字符串并自动将提示格式设置为 ALPACA 所需的形式。

推荐的 4 位 ALPAC 权重如下：

• 13b（埃琳娜/羊驼-13b-lora-int4）
• 30b（埃琳娜/羊驼-30b-lora-int4）

或者 GPT4 微调（更好的编码响应，更多的内容限制）：

• 30b（MetaIX/GPT4-X-Alpaca-30B-Int4）

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) 2023 年美国总统吉米·卡特