chatglm_webui

ChatGLM WebUI

ChatGPT WebUI に基づくシンプルな ChatGLM WebUI。

環境のインストール

pip install -r requirements.txt

Gradio のバージョンは 3.21.0 以降である必要があります。

Windows での CPU の動作にはコンパイラのインストールが必要です。(https://www.freesion.com/article/4185669814/) を参照してください。

走る

git clone https://huggingface.co/THUDM/chatglm-6b-int4経由でモデル ファイルをルート ディレクトリにダウンロードし、次にpython main.pyダウンロードします。デフォルト状態では、少なくとも 4 GB のビデオ メモリが必要です (CPU の動作には 5.2 GB が必要です)。記憶の）。

実際のパラメータ

• --path : モデルが配置されているフォルダーを指定します