yal discord bot

さらに別の LLaMA Discord ボット

これは何ですか？

Meta の LLaMA モデルを使用した Discord 用のチャットボット (4 ビット量子化)。 130 億のパラメータ モデルは、9 GiB VRAM 未満に収まります。

インストール

これを行う前に、ボット トークンが必要です。ボット トークンをお持ちでない場合は、このガイドに従ってボットを作成し、そのボットをサーバーに追加します。

現時点では Linux のみですが、他の OS でも動作させることができるかもしれません。

1. Python 3.10 以降、virtualenv ( pip install virtualenv )、および CUDA がインストールされていることを確認してください。
2. ボットのクローンを作成し、仮想環境をセットアップします。

git clone https://github.com/AmericanPresidentJimmyCarter/yal-discord-bot/
cd yal-discord-bot
python3 -m virtualenv env
source env/bin/activate
pip install -r requirements.txt

3. これを実行すると、トランスフォーマーがフォークし、バージョンの非互換性エラーが無視されるように設定されます。

git clone https://github.com/huggingface/transformers/
cd transformers
git checkout 20e54e49fa11172a893d046f6e7364a434cbc04f
pip install -e .
cd ..

4. 4 ビット CUDA カーネルをビルドします。

 cd bot/llama_model
python setup_cuda.py install
cd ../..

5. 4 ビット量子化モデルをローカルの場所にダウンロードします。より大きい/より小さい 4 ビット量子化重みについては、このリンクを参照してください。

wget https://huggingface.co/Neko-Institute-of-Science/LLaMA-13B-4bit-128g/resolve/main/llama-13b-4bit-128g.safetensors

5. ボットを起動します。

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --llama-model= " Neko-Institute-of-Science/LLaMA-13B-4bit-128g " --groupsize=128 --load-checkpoint= " path/to/llama/weights/llama-13b-4bit-128g.safetensors "

$YOUR_BOT_TOKENと$YOUR_GUILDが適切な値に設定されていること、 --load-checkpoint=..."が重みの正しい位置を指していること、および--llama-model=...が正しい重みの位置を指していることを確認してください。 Huggingface の場所を調べてウェイトの構成を見つけます。

ALPACAモデルの使用（推奨）

--alpacaフラグを設定すると、任意の ALPACA モデルを使用できます。これにより、入力文字列を追加したり、プロンプトを ALPACA が期待する形式に自動的にフォーマットしたりすることができます。

推奨される 4 ビット ALPACA の重みは次のとおりです。

• 13b (エリナス/アルパカ-13b-lora-int4)
• 30b (エリナス/アルパカ-30b-lora-int4)

または、GPT4 の微調整 (コーディング応答の改善、コンテンツの制限の強化):

• 30b (MetaIX/GPT4-X-Alpaca-30B-Int4)

 cd bot
python -m bot $YOUR_BOT_TOKEN --allow-queue -g $YOUR_GUILD --alpaca --groupsize=128 --llama-model= " elinas/alpaca-30b-lora-int4 " --load-checkpoint= " path/to/alpaca/weights/alpaca-30b-4bit-128g.safetensors "

(c) 2023 アメリカ大統領ジミー・カーター