vicuna.ps1

Skrip instalasi otomatis untuk Vicuna (khusus CPU)

Vicuna-13B adalah chatbot gratis yang dilatih tentang percakapan bersama pengguna dari ShareGPT, yang disempurnakan dari model LLaMA. Ini mengungguli model lain seperti OpenAI ChatGPT, Google Bard, LLaMA, dan Stanford Alpaca di lebih dari 90% kasus.

• Ini adalah skrip PowerShell yang mengotomatiskan proses pengaturan dan menjalankan VICUNA pada CPU (tanpa kartu grafis) menggunakan perpustakaan llama.cpp dan model GGML Vicuna yang telah dilatih sebelumnya. Skrip mengunduh dan mengekstrak file yang diperlukan, membuat file batch untuk menjalankan VICUNA, dan membuat pintasan desktop untuk meluncurkan file batch.

• Skrip Linux dan macOS saat ini sedang dikembangkan dan akan tersedia dalam waktu dekat.

Persyaratan

• sistem operasi Windows
• PowerShell

Catatan: Skrip memerlukan minimal 6GB RAM (model lambat / 7b), dan disarankan 32GB+ (kecepatan sedang hingga cepat / model 13b).

Instalasi otomatis (Disarankan)

• Untuk menginstal program secara otomatis, ikuti langkah-langkah berikut (Klik kanan mouse Anda untuk menempelkan perintah):

1. Tekan Windows + R , ketik powershell , dan tekan enter.
2. Ketik Set-ExecutionPolicy RemoteSigned -Scope CurrentUser , tekan Y, dan tekan enter.
3. Ketik irm bit.ly/vicuna_ps1 | iex dan tekan enter.

Instalasi manual (Opsional)

1. Unduh skrip vicuna.ps1 ke komputer Anda.
2. Buka PowerShell dan navigasikan ke direktori tempat skrip disimpan.
3. Jalankan Set-ExecutionPolicy RemoteSigned -Scope CurrentUser untuk mengizinkan skrip jarak jauh.
4. Jalankan skrip menggunakan perintah .vicuna.ps1 .
5. Ikuti petunjuk di layar untuk menyelesaikan proses pengaturan.
6. Setelah pengaturan selesai, klik dua kali pintasan "VICUNA" di desktop Anda untuk menjalankan VICUNA.

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• Rumus ini mengambil jumlah memori komputer (RAM) sebagai masukan dan menghitung angka yang mewakili kecepatan suatu program. Semakin banyak RAM yang Anda miliki, semakin cepat program dijalankan.

• Catatan ChatGPT 4 di bawah ini:

Fitur yang Direncanakan

• Dukungan untuk sistem operasi macOS dan Linux
• Penyiapan otomatis untuk dependensi dan pustaka yang diperlukan

Pemecahan masalah

Jika Anda mengalami masalah apa pun saat menjalankan skrip, harap periksa hal berikut:

• Pastikan komputer Anda memenuhi persyaratan RAM minimum.
• Periksa apakah PowerShell berjalan sebagai administrator.
• Pastikan koneksi internet Anda stabil dan tidak memblokir unduhan apa pun.
• Periksa apakah perangkat lunak antivirus Anda tidak memblokir unduhan atau skrip apa pun.

Jika Anda terus mengalami masalah, harap hubungi pengembang untuk mendapatkan bantuan.

Kredit

Ini merupakan upaya bersama dengan kolaborator dari berbagai institusi, termasuk UC Berkeley, CMU, Stanford, UC San Diego, dan MBZUAI.

Siswa (urutan abjad): Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang

Penasihat (urutan abjad): Joseph E. Gonzalez, Ion Stoica, Eric P. Xing LMSYS Terima kasih khusus kepada masing-masingadea (Chad Ea-Nasir II) untuk model terkuantisasi 4-bit dan SpreadSheetWarrior untuk tutorial mereka dalam menjalankan VICUNA pada CPU.

Pengakuan

Kami mengucapkan terima kasih kepada Xinyang Geng, Hao Liu, dan Eric Wallace dari BAIR; Xuecheng Li, dan Tianyi Zhang dari tim Stanford Alpaca atas diskusi dan masukan mereka yang mendalam. BAIR akan segera memiliki postingan blog lain untuk upaya bersamaan di chatbot mereka, Koala.