vicuna.ps1

Vicuna の自動インストール スクリプト (CPU のみ)

Vicuna-13B は、ShareGPT のユーザー共有会話でトレーニングされ、LLaMA モデルから微調整された無料のチャットボットです。 90% 以上のケースで、OpenAI ChatGPT、Google Bard、LLaMA、Stanford Alpaca などの他のモデルよりも優れたパフォーマンスを発揮しました。

• これは、llama.cpp ライブラリと事前トレーニングされた GGML Vicuna モデルを使用して、CPU (グラフィックス カードなし) で VICUNA をセットアップして実行するプロセスを自動化する PowerShell スクリプトです。このスクリプトは、必要なファイルをダウンロードして抽出し、VICUNA を実行するためのバッチ ファイルを作成し、バッチ ファイルを起動するためのデスクトップ ショートカットを作成します。

• Linux および macOS のスクリプトは現在開発中で、近い将来に利用可能になる予定です。

要件

• Windows オペレーティング システム
• パワーシェル

注:スクリプトには少なくとも 6GB の RAM (低速 / 7b モデル) が必要で、32GB 以上 (中速から高速 / 13b モデル) が推奨されます。

自動インストール（推奨）

• プログラムを自動的にインストールするには、次の手順に従います (マウスを右クリックしてコマンドを貼り付けます)。

1. Windows + Rを押し、 powershellと入力して Enter キーを押します。
2. Set-ExecutionPolicy RemoteSigned -Scope CurrentUserと入力し、Y を押して Enter キーを押します。
3. irm bit.ly/vicuna_ps1 | iexと入力します。 irm bit.ly/vicuna_ps1 | iexを押して Enter キーを押します。

手動インストール (オプション)

1. vicuna.ps1スクリプトをコンピューターにダウンロードします。
2. PowerShell を開き、スクリプトが保存されているディレクトリに移動します。
3. Set-ExecutionPolicy RemoteSigned -Scope CurrentUser実行して、リモート スクリプトを許可します。
4. コマンド.vicuna.ps1
5. 画面上の指示に従ってセットアッププロセスを完了します。
6. セットアップが完了したら、デスクトップ上の「VICUNA」ショートカットをダブルクリックして VICUNA を実行します。

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• この数式は、コンピュータ メモリ (RAM) の量を入力として受け取り、プログラムの速度を表す数値を計算します。 RAM が多いほど、プログラムの実行が速くなります。

• ChatGPT 4 の注意事項は以下のとおりです。

計画されている機能

• macOS および Linux オペレーティング システムのサポート
• 必要な依存関係とライブラリの自動セットアップ

トラブルシューティング

スクリプトの実行中に問題が発生した場合は、次の点を確認してください。

• コンピューターが RAM の最小要件を満たしていることを確認してください。
• PowerShell が管理者として実行されていることを確認します。
• インターネット接続が安定しており、ダウンロードがブロックされていないことを確認してください。
• ウイルス対策ソフトウェアがダウンロードやスクリプトをブロックしていないか確認してください。

引き続き問題が発生する場合は、開発者にお問い合わせください。

クレジット

これは、カリフォルニア大学バークレー校、CMU、スタンフォード大学、カリフォルニア大学サンディエゴ校、MBZUAI など、複数の教育機関の協力者との共同作業です。

学生（アルファベット順）：Wei-Lin Chiang、Zhuohan Li、Zi Lin、Ying Sheng、Zhanghao Wu、Hao Zhang、Lianmin Zheng、Siyuan Zhuang、Yonghao Zhuang

アドバイザー (アルファベット順): Joseph E. Gonzalez、Ion Stoica、Eric P. Xing LMSYS 4 ビット量子化モデルについては eachadea (Chad Ea-Nasir II)、CPU 上で VICUNA を実行するチュートリアルについては SpreadSheetWarrior に感謝します。

了承

BAIR の Xinyang Geng 氏、Hao Liu 氏、Eric Wallace 氏に感謝します。スタンフォード アルパカ チームの Xuecheng Li 氏と Tianyi Zhang 氏には、洞察力に富んだディスカッションとフィードバックをいただきました。 BAIR は、チャットボット Koala に関する同時取り組みについて、近々別のブログ投稿を行う予定です。