vicuna.ps1

Script de instalación automática para Vicuña (solo CPU)

Vicuna-13B es un chatbot gratuito entrenado en conversaciones compartidas por usuarios de ShareGPT, ajustado a partir del modelo LLaMA. Superó a otros modelos como OpenAI ChatGPT, Google Bard, LLaMA y Stanford Alpaca en más del 90% de los casos.

• Este es un script de PowerShell que automatiza el proceso de configuración y ejecución de VICUNA en una CPU (sin tarjeta gráfica) utilizando la biblioteca llama.cpp y un modelo GGML Vicuna previamente entrenado. El script descarga y extrae los archivos necesarios, crea un archivo por lotes para ejecutar VICUNA y crea un acceso directo en el escritorio para iniciar el archivo por lotes.

• Actualmente se están desarrollando scripts para Linux y macOS que estarán disponibles en un futuro próximo.

Requisitos

• sistema operativo windows
• PowerShell

Nota: El script requiere un mínimo de 6 GB de RAM (modelo lento/7b) y se recomiendan 32 GB+ (velocidades medias a rápidas/modelo 13b).

Instalación automática (recomendado)

• Para instalar automáticamente el programa, siga estos pasos (haga clic con el botón derecho del mouse para pegar los comandos):

1. Presione Windows + R , escriba powershell y presione enter.
2. Escriba Set-ExecutionPolicy RemoteSigned -Scope CurrentUser , presione Y y presione Enter.
3. Escribe irm bit.ly/vicuna_ps1 | iex y presiona enter.

Instalación manual (opcional)

1. Descargue el script vicuna.ps1 a su computadora.
2. Abra PowerShell y navegue hasta el directorio donde está guardado el script.
3. Ejecute Set-ExecutionPolicy RemoteSigned -Scope CurrentUser para permitir scripts remotos.
4. Ejecute el script usando el comando .vicuna.ps1 .
5. Siga las instrucciones que aparecen en pantalla para completar el proceso de configuración.
6. Una vez completada la configuración, haga doble clic en el acceso directo "VICUNA" en su escritorio para ejecutar VICUNA.

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• Esta fórmula toma la cantidad de memoria de la computadora (RAM) como entrada y calcula un número que representa la velocidad de un programa. Cuanta más RAM tengas, más rápido se ejecutará el programa.

• Nota de ChatGPT 4 a continuación:

Funciones planificadas

• Soporte para sistemas operativos macOS y Linux
• Configuración automatizada para dependencias y bibliotecas requeridas

Solución de problemas

Si encuentra algún problema al ejecutar el script, verifique lo siguiente:

• Asegúrese de que su computadora cumpla con los requisitos mínimos de RAM.
• Compruebe que PowerShell se esté ejecutando como administrador.
• Asegúrese de que su conexión a Internet sea estable y no bloquee ninguna descarga.
• Verifique que su software antivirus no esté bloqueando ninguna descarga o secuencia de comandos.

Si continúa teniendo problemas, comuníquese con el desarrollador para obtener ayuda.

Créditos

Este es un esfuerzo conjunto con colaboradores de múltiples instituciones, incluidas UC Berkeley, CMU, Stanford, UC San Diego y MBZUAI.

Estudiantes (orden alfabético): Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang

Asesores (orden alfabético): Joseph E. González, Ion Stoica, Eric P. Xing LMSYS Un agradecimiento especial a eachadea (Chad Ea-Nasir II) por su modelo cuantificado de 4 bits y a SpreadSheetWarrior por su tutorial sobre cómo ejecutar VICUNA en la CPU.

Reconocimiento

Nos gustaría agradecer a Xinyang Geng, Hao Liu y Eric Wallace de BAIR; Xuecheng Li y Tianyi Zhang del equipo de Stanford Alpaca por sus interesantes debates y comentarios. BAIR pronto publicará otra publicación en su blog para un esfuerzo simultáneo en su chatbot, Koala.