vicuna.ps1

Vicuna 自动安装脚本（仅限 CPU）

Vicuna-13B 是一个免费的聊天机器人，接受来自 ShareGPT 的用户共享对话的训练，并根据 LLaMA 模型进行了微调。在超过 90% 的情况下，它的性能优于 OpenAI ChatGPT、Google Bard、LLaMA 和斯坦福 Alpaca 等其他模型。

• 这是一个 PowerShell 脚本，可使用 llama.cpp 库和预先训练的 GGML Vicuna 模型在 CPU（无显卡）上自动设置和运行 VICUNA 的过程。该脚本下载并提取所需的文件，创建一个批处理文件来运行 VICUNA，并创建一个桌面快捷方式来启动该批处理文件。

• Linux 和 macOS 脚本目前正在开发中，并将在不久的将来推出。

要求

• Windows操作系统
• 电源外壳

注意：该脚本至少需要 6GB RAM（慢速/7b 型号），建议使用 32GB+（中高速/13b 型号）。

自动安装（推荐）

• 要自动安装该程序，请按照以下步骤操作（右键单击鼠标粘贴命令）：

1. 按Windows + R ，输入powershell ，然后按 Enter 键。
2. 键入Set-ExecutionPolicy RemoteSigned -Scope CurrentUser ，按 Y，然后按 Enter 键。
3. 输入irm bit.ly/vicuna_ps1 | iex并按回车键。

手动安装（可选）

1. 将vicuna.ps1脚本下载到您的计算机。
2. 打开 PowerShell 并导航到保存脚本的目录。
3. 运行Set-ExecutionPolicy RemoteSigned -Scope CurrentUser以允许远程脚本。
4. 使用命令.vicuna.ps1运行脚本。
5. 按照屏幕上的说明完成设置过程。
6. 设置完成后，双击桌面上的“VICUNA”快捷方式即可运行 VICUNA。

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• 该公式以计算机内存 (RAM) 量作为输入，并计算代表程序速度的数字。 RAM 越多，程序运行得越快。

• ChatGPT 4 注意如下：

计划的功能

• 支持 macOS 和 Linux 操作系统
• 自动设置所需的依赖项和库

故障排除

如果您在运行脚本时遇到任何问题，请检查以下内容：

• 确保您的计算机满足最低 RAM 要求。
• 检查 PowerShell 是否以管理员身份运行。
• 确保您的互联网连接稳定并且不会阻止任何下载。
• 检查您的防病毒软件是否阻止任何下载或脚本。

如果您仍然遇到问题，请联系开发人员寻求帮助。

制作人员

这是与加州大学伯克利分校、卡内基梅隆大学、斯坦福大学、加州大学圣地亚哥分校和 MBZUAI 等多个机构的合作者的共同努力。

学生（按姓氏拼音排序）：蒋伟林、李卓涵、林子、盛颖、吴张浩、张浩、郑连民、庄思源、庄永浩

顾问（按字母顺序排列）：Joseph E. Gonzalez、Ion Stoica、Eric P. Xing LMSYS 特别感谢eachadea (Chad Ea-Nasir II) 提供的 4 位量化模型以及 SpreadSheetWarrior 提供的有关在 CPU 上运行 VICUNA 的教程。

致谢

我们要感谢 BAIR 的 Xinyang Geng、Hao Liu 和 Eric Wallace；来自斯坦福羊驼团队的李学成和张天一，感谢他们富有洞察力的讨论和反馈。 BAIR 很快就会发布另一篇博客文章，介绍他们的聊天机器人 Koala 的并发工作。