vicuna.ps1

Script de instalação automática para Vicuna (somente CPU)

Vicuna-13B é um chatbot gratuito treinado em conversas compartilhadas por usuários do ShareGPT, aprimorado a partir do modelo LLaMA. Superou outros modelos como OpenAI ChatGPT, Google Bard, LLaMA e Stanford Alpaca em mais de 90% dos casos.

• Este é um script PowerShell que automatiza o processo de configuração e execução do VICUNA em uma CPU (sem placa gráfica) usando a biblioteca llama.cpp e um modelo GGML Vicuna pré-treinado. O script baixa e extrai os arquivos necessários, cria um arquivo em lote para executar o VICUNA e cria um atalho na área de trabalho para iniciar o arquivo em lote.

• Os scripts Linux e macOS estão sendo desenvolvidos e estarão disponíveis em um futuro próximo.

Requisitos

• Sistema operacional Windows
• PowerShell

Nota: O script requer um mínimo de 6 GB de RAM (modelo lento/7b) e 32 GB+ (velocidades médias a rápidas/modelo 13b) é recomendado.

Instalação automática (recomendado)

• Para instalar automaticamente o programa, siga estas etapas (clique com o botão direito do mouse para colar os comandos):

1. Pressione Windows + R , digite powershell e pressione Enter.
2. Digite Set-ExecutionPolicy RemoteSigned -Scope CurrentUser , pressione Y e pressione Enter.
3. Digite irm bit.ly/vicuna_ps1 | iex e aperte enter.

Instalação manual (opcional)

1. Baixe o script vicuna.ps1 para o seu computador.
2. Abra o PowerShell e navegue até o diretório onde o script foi salvo.
3. Execute Set-ExecutionPolicy RemoteSigned -Scope CurrentUser para permitir scripts remotos.
4. Execute o script usando o comando .vicuna.ps1 .
5. Siga as instruções na tela para concluir o processo de configuração.
6. Assim que a configuração for concluída, clique duas vezes no atalho “VICUNA” em sua área de trabalho para executar o VICUNA.

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• Esta fórmula toma como entrada a quantidade de memória do computador (RAM) e calcula um número que representa a velocidade de um programa. Quanto mais RAM você tiver, mais rápido o programa será executado.

• Nota do ChatGPT 4 abaixo:

Recursos planejados

• Suporte para sistemas operacionais macOS e Linux
• Configuração automatizada para dependências e bibliotecas necessárias

Solução de problemas

Se você encontrar algum problema ao executar o script, verifique o seguinte:

• Certifique-se de que seu computador atenda aos requisitos mínimos de RAM.
• Verifique se o PowerShell está sendo executado como administrador.
• Certifique-se de que sua conexão com a Internet esteja estável e não bloqueie nenhum download.
• Verifique se o seu software antivírus não está bloqueando downloads ou scripts.

Se continuar tendo problemas, entre em contato com o desenvolvedor para obter assistência.

Créditos

Este é um esforço conjunto com colaboradores de diversas instituições, incluindo UC Berkeley, CMU, Stanford, UC San Diego e MBZUAI.

Alunos (ordem alfabética): Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang

Consultores (ordem alfabética): Joseph E. Gonzalez, Ion Stoica, Eric P. Xing LMSYS Agradecimentos especiais a eachadea (Chad Ea-Nasir II) por seu modelo quantizado de 4 bits e SpreadSheetWarrior por seu tutorial sobre como executar o VICUNA na CPU.

Reconhecimento

Gostaríamos de agradecer a Xinyang Geng, Hao Liu e Eric Wallace do BAIR; Xuecheng Li e Tianyi Zhang, da equipe Stanford Alpaca, por suas discussões e comentários esclarecedores. BAIR terá outra postagem no blog em breve para um esforço simultâneo em seu chatbot, Koala.