vicuna.ps1

Vicuna 自動安裝腳本（僅限 CPU）

Vicuna-13B 是一個免費的聊天機器人，接受來自 ShareGPT 的用戶共享對話的訓練，並根據 LLaMA 模型進行了微調。在超過 90% 的情況下，它的性能優於 OpenAI ChatGPT、Google Bard、LLaMA 和史丹佛 Alpaca 等其他模型。

• 這是一個 PowerShell 腳本，可使用 llama.cpp 函式庫和預先訓練的 GGML Vicuna 模型在 CPU（無顯示卡）上自動設定和執行 VICUNA 的過程。該腳本下載並提取所需的文件，建立一個批次檔來執行 VICUNA，並建立一個桌面捷徑來啟動該批次檔。

• Linux 和 macOS 腳本目前正在開發中，並將在不久的將來推出。

要求

• Windows作業系統
• 電源外殼

注意：此腳本至少需要 6GB RAM（慢速/7b 型號），建議使用 32GB+（中高速/13b 型號）。

自動安裝（建議）

• 若要自動安裝程序，請按照以下步驟操作（右鍵單擊滑鼠貼上命令）：

1. 按Windows + R ，輸入powershell ，然後按 Enter 鍵。
2. 鍵入Set-ExecutionPolicy RemoteSigned -Scope CurrentUser ，按 Y，然後按 Enter 鍵。
3. 輸入irm bit.ly/vicuna_ps1 | iex並按下回車鍵。

手動安裝（選購）

1. 將vicuna.ps1腳本下載到您的電腦。
2. 開啟 PowerShell 並導航至儲存腳本的目錄。
3. 執行Set-ExecutionPolicy RemoteSigned -Scope CurrentUser以允許遠端腳本。
4. 使用指令.vicuna.ps1運行腳本。
5. 請依照螢幕上的指示完成設定程序。
6. 設定完成後，雙擊桌面上的「VICUNA」捷徑即可執行 VICUNA。

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• 此公式以電腦記憶體 (RAM) 量作為輸入，並計算代表程式速度的數字。 RAM 越多，程式運行得越快。

• ChatGPT 4 注意如下：

計劃的功能

• 支援 macOS 和 Linux 作業系統
• 自動設定所需的依賴項和庫

故障排除

如果您在執行腳本時遇到任何問題，請檢查以下內容：

• 確保您的電腦符合最低 RAM 要求。
• 檢查 PowerShell 是否以管理員身分執行。
• 確保您的網路連線穩定並且不會阻止任何下載。
• 檢查您的防毒軟體是否封鎖任何下載或腳本。

如果您仍然遇到問題，請聯絡開發人員尋求協助。

製作人員

這是與加州大學柏克萊分校、卡內基美隆大學、史丹佛大學、加州大學聖地牙哥分校和 MBZUAI 等多個機構的合作者的共同努力。

學生（依姓氏拼音排序）：蔣偉林、李卓涵、林子、盛穎、吳張浩、張浩、鄭連民、莊思源、莊永浩

顧問（按字母順序排列）：Joseph E. Gonzalez、Ion Stoica、Eric P. Xing LMSYS 特別感謝eachadea (Chad Ea-Nasir II) 提供的 4 位量化模型以及 SpreadSheetWarrior 提供的有關在 CPU 上運行 VICUNA 的教程。

致謝

我們要感謝 BAIR 的 Xinyang Geng、Hao Liu 和 Eric Wallace；來自史丹佛羊駝團隊的李學成和張天一，感謝他們富有洞察力的討論和回饋。 BAIR 很快就會發布另一篇部落格文章，介紹他們的聊天機器人 Koala 的並發工作。