vicuna.ps1

Script d'installation automatique pour Vicuna (CPU uniquement)

Vicuna-13B est un chatbot gratuit formé aux conversations partagées par les utilisateurs de ShareGPT, affiné à partir du modèle LLaMA. Il a surpassé d'autres modèles comme OpenAI ChatGPT, Google Bard, LLaMA et Stanford Alpaca dans plus de 90 % des cas.

• Il s'agit d'un script PowerShell qui automatise le processus de configuration et d'exécution de VICUNA sur un processeur (sans carte graphique) à l'aide de la bibliothèque llama.cpp et d'un modèle Vicuna GGML pré-entraîné. Le script télécharge et extrait les fichiers requis, crée un fichier de commandes pour exécuter VICUNA et crée un raccourci sur le bureau pour lancer le fichier de commandes.

• Des scripts Linux et macOS sont en cours de développement et seront disponibles prochainement.

Exigences

• Système d'exploitation Windows
• PowerShell

Remarque : Le script nécessite un minimum de 6 Go de RAM (modèle lent/7b) et 32 Go+ (vitesses moyennes à rapides/modèle 13b) sont recommandés.

Installation automatique (recommandé)

• Pour installer automatiquement le programme, suivez ces étapes (cliquez avec le bouton droit sur votre souris pour coller les commandes) :

1. Appuyez sur Windows + R , tapez powershell et appuyez sur Entrée.
2. Tapez Set-ExecutionPolicy RemoteSigned -Scope CurrentUser , appuyez sur Y et appuyez sur Entrée.
3. Tapez irm bit.ly/vicuna_ps1 | iex et appuyez sur Entrée.

Installation manuelle (facultatif)

1. Téléchargez le script vicuna.ps1 sur votre ordinateur.
2. Ouvrez PowerShell et accédez au répertoire où le script est enregistré.
3. Exécutez Set-ExecutionPolicy RemoteSigned -Scope CurrentUser pour autoriser les scripts distants.
4. Exécutez le script à l'aide de la commande .vicuna.ps1 .
5. Suivez les instructions à l'écran pour terminer le processus de configuration.
6. Une fois la configuration terminée, double-cliquez sur le raccourci « VICUNA » sur votre bureau pour exécuter VICUNA.

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• Cette formule prend la quantité de mémoire de l'ordinateur (RAM) comme entrée et calcule un nombre qui représente la vitesse d'un programme. Plus vous disposez de RAM, plus le programme s’exécutera rapidement.

• Remarque ChatGPT 4 ci-dessous :

Fonctionnalités prévues

• Prise en charge des systèmes d'exploitation macOS et Linux
• Configuration automatisée pour les dépendances et bibliothèques requises

Dépannage

Si vous rencontrez des problèmes lors de l'exécution du script, veuillez vérifier les points suivants :

• Assurez-vous que votre ordinateur répond aux exigences minimales en matière de RAM.
• Vérifiez que PowerShell s'exécute en tant qu'administrateur.
• Assurez-vous que votre connexion Internet est stable et ne bloque aucun téléchargement.
• Vérifiez que votre logiciel antivirus ne bloque aucun téléchargement ou script.

Si vous continuez à rencontrer des problèmes, veuillez contacter le développeur pour obtenir de l'aide.

Crédits

Il s'agit d'un effort conjoint avec des collaborateurs de plusieurs institutions, dont l'UC Berkeley, la CMU, Stanford, l'UC San Diego et MBZUAI.

Étudiants (ordre alphabétique) : Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang

Conseillers (ordre alphabétique) : Joseph E. Gonzalez, Ion Stoica, Eric P. Xing LMSYS Un merci spécial à eachadea (Chad Ea-Nasir II) pour son modèle quantifié 4 bits et à SpreadSheetWarrior pour son tutoriel sur l'exécution de VICUNA sur CPU.

Reconnaissance

Nous tenons à remercier Xinyang Geng, Hao Liu et Eric Wallace de BAIR ; Xuecheng Li et Tianyi Zhang de l'équipe Stanford Alpaca pour leurs discussions et commentaires perspicaces. BAIR publiera bientôt un autre article de blog pour un effort simultané sur son chatbot, Koala.