gptq_for_langchain

LangChain の GPTQ モデル

イントロ

このリポジトリは、LangChain と組み合わせて量子化されたオープンソース言語モデル モデル (LLM) を利用してアプリケーションを開発するための実用的な例を含む潜在的なフレームワークを提供します。特に、このガイドは、WizardLM や WizardLM-Mega など、さまざまな LLM の 4 ビット量子化 GPTQ バリアントの実装と利用に焦点を当てています。この特定のトピックに特化したリソースはオンラインに限られていますが、このリポジトリはそのギャップを埋め、包括的なガイドを提供することを目的としています。

LLM をローカルで実行すると、プライバシーが重要な要素となるため、多くの利点が得られます。データを独自のハードウェア内に保持することで、外部 API に依存せずにこれらのモデルの機能を活用できるため、データをより適切に制御でき、エキサイティングなアプリケーションの開発が可能になります。

前提条件

• Ubuntu 22.04 / WSL2 Windows 用 Ubuntu
• 少なくとも 6GB VRAM を搭載した Nvidia GPU
  • 4 ビット 7B モデルのロードには 6GB VRAM で十分です
• 8 CPU スレッド
• 16 GB RAM を推奨
• Nvidia ドライバーはすでにインストールされています ( nvidia-smiコマンドは機能するはずです)
• パッケージ、ドライバー、モデル ファイル用の十分なディスク容量 (~30GB、システムによって異なる場合があります)
• Git LFS

注: Docker サポートが追加されます。

テスト済みのモデル

現時点では、次の GPTQ モデルがサポートされています。

• ウィザードLM-7B-GPTQ
• WizardLM-7B-無修正-GPTQ

起動して実行する

langchain で GPTQ モデルの使用を開始するには、いくつかの重要な手順があります。

1. Python環境をセットアップする
2. 適切なバージョンの Pytorch と CUDA ツールキットをインストールする
3. quant_cuda正しく設定する
4. GPTQ モデルを HuggingFace からダウンロードする
5. 上記の手順の後、 demo.py実行し、OpenAI モデルの場合と同じように LangChain で LLM を使用できます。

conda環境の作成

公式サイトの指示に従って Miniconda をインストールします。

conda が正しく設定されているかどうかを確認するには

$ conda --version

シェル上で conda を初期化する

$ conda init

新しい conda 環境を作成します3.10.9でのみテストされているため、必ず指定された Python バージョンを使用してください。

$ conda create -n wizardlm_langchain python=3.10.9

新しい環境が作成されたら、アクティブ化します。

$ conda activate wizardlm_langchain

環境のセットアップ

上記の 2 から 4 までのプロセス全体は、 setup.sh bash スクリプトを使用して自動化されます。好みに応じて自由に変更してください。

$ bash ./setup.sh

環境が正しく設定されていれば、理想的にはすべての手順がエラーなしで実行されるはずです。

デモの実行中に次の例外が発生した場合:

 Exception: Error while deserializing header: HeaderTooLarge

これは、モデルが完全にダウンロードされていないことを意味するため、 setup.pyにあるgit cloneコマンドを使用してモデルを再ダウンロードしてみてください。

デモを実行する前に、環境を初めてセットアップするときに環境を非アクティブ化し、再度アクティブ化することをお勧めします。

デモを実行します。

$ python demo.py

setup.shを使用すると、デフォルトで wizardLM-7B-GPTQ モデルがダウンロードされますが、このプロジェクトでテストされた他のモデルを使用したい場合は、 download_model.shスクリプトを使用できます。

$ download_model.sh < HUGGING FACE MODEL NAME >
# Example
$ ./download_model.sh " TheBloke/WizardLM-7B-uncensored-GPTQ "

注: HF から完全なモデルをダウンロードできない場合は、Git LFS が正しく構成されていることを確認してください。コマンドgit lfs installジョブが完了する場合があります。

使用法

セットアッププロセスが完了したら、次の手順に従って LangChain で GPTQ モデルを使用できます。

グローバルに使用するには、 wizardlm_langchainプロジェクトのルート ディレクトリを PYTHONPATH に必ず追加してください。

使用方法を理解するには、 demo.pyスクリプトの例を参照してください。

貢献する

このリポジトリへの貢献は大歓迎です。問題を見つけた場合、または改善のための提案がある場合は、お気軽に問題をオープンするか、プル リクエストを送信してください。

貢献する場合は、次のガイドラインに従ってください。

• リポジトリをフォークし、コントリビュート用の新しいブランチを作成します。
• 必要に応じてドキュメントとコメントを含めます。
• 明確なコミットメッセージを書きます。
• プル リクエストを送信する前に、変更を徹底的にテストしてください。

ライセンス

このリポジトリは、GNU Public License に基づいてライセンスされています。詳細については、LICENSE ファイルを参照してください。

謝辞

オープンソース コミュニティと、このリポジトリで使用されているオリジナルの GPTQ モデルの開発者の貢献に感謝いたします。 oababooga/text-generation-webui に多大な感謝を申し上げます。彼らの研究は、langchain を使用して GPTQ モデルをセットアップするのに非常に役立ちました。