lora instruct

?‍?? LoRA-命令

このリポジトリには、低ランク適応 (LoRA) を使用して寛容なオープンソース LLM を微調整するためのコードが含まれています。

コードは Stanford Alpaca データセットを使用してテストされます。

• 1 台の RTX 3090 と Stanford Alpaca を使用して RedPajama-INCITE-Base-7B-v0.1 を微調整する場合の推定トレーニング時間は約 12 時間です。
• RTX 3090、RTX Titan、Stanford Alpaca を使用して RedPajama-INCITE-Base-7B-v0.1 を微調整するための推定トレーニング時間は約 6.5 時間です。
• 現在、LoRA Instruct 微調整 RedPajama-INCITE-Base-7B-v0.1 のみをサポートしています。

アルパカ LoRA からインスピレーションを得た

訓練されたモデル

モデル	走る	トレーニング時間	リンク
ラマ 3B	⬜
ラマ 7B	⬜
レッドパジャマ 3B	✅	1:44:14
レッドパジャマ 7B	✅	3:09:58
MPT 3B	⬜
MPT 7B	⬜
ファルコン7B	✅

トレーニングハードウェア仕様

 Ubuntu 20.04.1 LTS (WSL2)

Driver Version: 531.41
CUDA Version: 12.1
cuDNN version: 8.5.0

ローカルセットアップ

依存関係をインストールする

poetry install

NVidia 2000 シリーズ以前の GPU を使用して微調整するには、 finetune.pyのこの行をコメントアウトしてください。

 model = prepare_model_for_int8_training ( model )

トレーニング ( finetune.py )

このファイルには、デコーダのみのモデルへの PEFT / LoRA の直接的なアプリケーションと、プロンプトの構築とトークン化に関連するコードが含まれています。

使用例:

python finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

? による分散トレーニング加速する

分散トレーニングには HuggingFace のaccelerateライブラリを使用します。以下は 2 つの GPU を使用した分散トレーニングの例です。

• 注: 次の環境変数を設定してください。

 export WORLD_SIZE=2
export CUDA_VISIBLE_DEVICES=0,1

torchrun 
    --nproc_per_node=2 
    --master_port=1234 
    finetune.py 
    --base_model ' togethercomputer/RedPajama-INCITE-Base-7B-v0.1 ' 
    --output_dir ' ./lora-redpajama ' 

参考文献

• LoRA: 大規模言語モデルの低ランク適応
• 最先端のパラメータ効率の良い微調整 (PEFT) 手法
• Stanford Alpaca: 指示に従う LLaMA モデル
• EMNLP 2022 チュートリアル: NLP モデルのモジュール式でパラメーター効率の高い微調整