vicuna.ps1

Automatisches Installationsskript für Vicuna (nur CPU)

Vicuna-13B ist ein kostenloser Chatbot, der auf von Benutzern geteilte Konversationen von ShareGPT trainiert und anhand des LLaMA-Modells verfeinert wurde. Es übertraf andere Modelle wie OpenAI ChatGPT, Google Bard, LLaMA und Stanford Alpaca in mehr als 90 % der Fälle.

• Dies ist ein PowerShell-Skript, das den Prozess der Einrichtung und Ausführung von VICUNA auf einer CPU (ohne Grafikkarte) mithilfe der llama.cpp-Bibliothek und eines vorab trainierten GGML Vicuna-Modells automatisiert. Das Skript lädt die erforderlichen Dateien herunter und extrahiert sie, erstellt eine Batch-Datei zum Ausführen von VICUNA und erstellt eine Desktop-Verknüpfung zum Starten der Batch-Datei.

• Linux- und macOS-Skripte werden derzeit entwickelt und werden in naher Zukunft verfügbar sein.

Anforderungen

• Windows-Betriebssystem
• PowerShell

Hinweis: Das Skript erfordert mindestens 6 GB RAM (langsames / 7b-Modell) und 32 GB+ (mittlere bis schnelle Geschwindigkeiten / 13b-Modell) werden empfohlen.

Automatische Installation (empfohlen)

• Um das Programm automatisch zu installieren, befolgen Sie diese Schritte (klicken Sie mit der rechten Maustaste, um die Befehle einzufügen):

1. Drücken Sie Windows + R , geben Sie powershell ein und drücken Sie die Eingabetaste.
2. Geben Sie Set-ExecutionPolicy RemoteSigned -Scope CurrentUser ein, drücken Sie Y und drücken Sie die Eingabetaste.
3. Geben Sie irm bit.ly/vicuna_ps1 | iex und drücken Sie die Eingabetaste.

Manuelle Installation (optional)

1. Laden Sie das Skript vicuna.ps1 auf Ihren Computer herunter.
2. Öffnen Sie PowerShell und navigieren Sie zu dem Verzeichnis, in dem das Skript gespeichert ist.
3. Führen Sie Set-ExecutionPolicy RemoteSigned -Scope CurrentUser aus, um Remote-Skripts zuzulassen.
4. Führen Sie das Skript mit dem Befehl .vicuna.ps1 aus.
5. Befolgen Sie die Anweisungen auf dem Bildschirm, um den Einrichtungsvorgang abzuschließen.
6. Sobald die Einrichtung abgeschlossen ist, doppelklicken Sie auf die Verknüpfung „VICUNA“ auf Ihrem Desktop, um VICUNA auszuführen.

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• Diese Formel verwendet die Größe des Computerspeichers (RAM) als Eingabe und berechnet eine Zahl, die die Geschwindigkeit eines Programms darstellt. Je mehr RAM Sie haben, desto schneller läuft das Programm.

• Hinweis zu ChatGPT 4 unten:

Geplante Funktionen

• Unterstützung für macOS- und Linux-Betriebssysteme
• Automatisierte Einrichtung für erforderliche Abhängigkeiten und Bibliotheken

Fehlerbehebung

Wenn beim Ausführen des Skripts Probleme auftreten, überprüfen Sie bitte Folgendes:

• Stellen Sie sicher, dass Ihr Computer die Mindest-RAM-Anforderungen erfüllt.
• Überprüfen Sie, ob PowerShell als Administrator ausgeführt wird.
• Stellen Sie sicher, dass Ihre Internetverbindung stabil ist und keine Downloads blockiert.
• Stellen Sie sicher, dass Ihre Antivirensoftware keine Downloads oder Skripte blockiert.

Sollten weiterhin Probleme auftreten, wenden Sie sich bitte an den Entwickler, um Hilfe zu erhalten.

Credits

Dies ist eine gemeinsame Anstrengung mit Mitarbeitern mehrerer Institutionen, darunter UC Berkeley, CMU, Stanford, UC San Diego und MBZUAI.

Schüler (alphabetische Reihenfolge): Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang

Berater (alphabetische Reihenfolge): Joseph E. Gonzalez, Ion Stoica, Eric P.

Anerkennung

Wir möchten Xinyang Geng, Hao Liu und Eric Wallace von BAIR danken; Xuecheng Li und Tianyi Zhang vom Stanford Alpaca-Team für ihre aufschlussreichen Diskussionen und ihr Feedback. BAIR wird bald einen weiteren Blog-Beitrag veröffentlichen, um gleichzeitig an ihrem Chatbot Koala zu arbeiten.