vicuna.ps1

Скрипт автоматической установки для Vicuna (только для процессора)

Vicuna-13B — это бесплатный чат-бот, обученный общению пользователей с помощью ShareGPT и доработанный на основе модели LLaMA. Он превосходил другие модели, такие как OpenAI ChatGPT, Google Bard, LLaMA и Stanford Alpaca, более чем в 90% случаев.

• Это скрипт PowerShell, который автоматизирует процесс настройки и запуска VICUNA на ЦП (без видеокарты) с использованием библиотеки llama.cpp и предварительно обученной модели GGML Vicuna. Сценарий загружает и извлекает необходимые файлы, создает пакетный файл для запуска VICUNA и создает ярлык на рабочем столе для запуска командного файла.

• Скрипты для Linux и macOS в настоящее время разрабатываются и будут доступны в ближайшем будущем.

Требования

• операционная система Windows
• PowerShell

Примечание. Для сценария требуется минимум 6 ГБ ОЗУ (медленная модель/модель 7b), рекомендуется 32 ГБ+ (средняя и высокая скорость/модель 13b).

Автоматическая установка (рекомендуется)

• Чтобы автоматически установить программу, выполните следующие действия (щелкните правой кнопкой мыши, чтобы вставить команды):

1. Нажмите Windows + R , введите powershell и нажмите Enter.
2. Введите Set-ExecutionPolicy RemoteSigned -Scope CurrentUser , нажмите Y и нажмите Enter.
3. Введите irm bit.ly/vicuna_ps1 | iex и нажмите Enter.

Ручная установка (дополнительно)

1. Загрузите скрипт vicuna.ps1 на свой компьютер.
2. Откройте PowerShell и перейдите в каталог, в котором сохранен скрипт.
3. Запустите Set-ExecutionPolicy RemoteSigned -Scope CurrentUser чтобы разрешить удаленные сценарии.
4. Запустите сценарий с помощью команды .vicuna.ps1 .
5. Следуйте инструкциям на экране, чтобы завершить процесс установки.
6. После завершения установки дважды щелкните ярлык «VICUNA» на рабочем столе, чтобы запустить VICUNA.

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• Эта формула принимает в качестве входных данных объем компьютерной памяти (ОЗУ) и вычисляет число, представляющее скорость программы. Чем больше у вас оперативной памяти, тем быстрее будет работать программа.

• Примечание ChatGPT 4 ниже:

Планируемые функции

• Поддержка операционных систем MacOS и Linux.
• Автоматическая настройка необходимых зависимостей и библиотек

Поиск неисправностей

Если при запуске скрипта у вас возникнут какие-либо проблемы, проверьте следующее:

• Убедитесь, что ваш компьютер соответствует минимальным требованиям к оперативной памяти.
• Убедитесь, что PowerShell запущен от имени администратора.
• Убедитесь, что ваше интернет-соединение стабильно и не блокирует загрузки.
• Убедитесь, что ваше антивирусное программное обеспечение не блокирует загрузки или сценарии.

Если проблемы по-прежнему возникают, обратитесь за помощью к разработчику.

Кредиты

Это совместная работа сотрудников из нескольких учреждений, включая Калифорнийский университет в Беркли, CMU, Стэнфорд, Калифорнийский университет в Сан-Диего и MBZUAI.

Студенты (в алфавитном порядке): Вэй-Линь Чан, Чжуохань Ли, Цзы Линь, Ин Шэн, Чжанхао Ву, Хао Чжан, Ляньминь Чжэн, Сиюань Чжуан, Юнхао Чжуан.

Консультанты (в алфавитном порядке): Джозеф Э. Гонсалес, Ион Стойка, Эрик П. Син LMSYS Особая благодарностьeachadea (Чад Эа-Насир II) за их 4-битную квантованную модель и SpreadSheetWarrior за руководство по запуску VICUNA на ЦП.

Благодарность

Мы хотели бы поблагодарить Синьяна Гэна, Хао Лю и Эрика Уоллеса из BAIR; Сюэчэн Ли и Тяньи Чжан из Стэнфордской команды альпака за содержательное обсуждение и отзывы. Вскоре у BAIR появится еще одна запись в блоге, посвященная параллельной работе над их чат-ботом Koala.