vicuna.ps1

สคริปต์การติดตั้งอัตโนมัติสำหรับ Vicuna (เฉพาะ CPU)

Vicuna-13B เป็นแชทบอทฟรีที่ได้รับการฝึกอบรมเกี่ยวกับการสนทนาที่ผู้ใช้แชร์จาก ShareGPT ซึ่งได้รับการปรับแต่งอย่างละเอียดจากโมเดล LLaMA มันมีประสิทธิภาพเหนือกว่ารุ่นอื่นๆ เช่น OpenAI ChatGPT, Google Bard, LLaMA และ Stanford Alpaca ในกรณีมากกว่า 90%

• นี่คือสคริปต์ PowerShell ที่ทำให้กระบวนการตั้งค่าและเรียกใช้ VICUNA บน CPU (ไม่มีการ์ดกราฟิก) เป็นแบบอัตโนมัติ โดยใช้ไลบรารี llama.cpp และโมเดล GGML Vicuna ที่ได้รับการฝึกอบรมล่วงหน้า สคริปต์จะดาวน์โหลดและแยกไฟล์ที่ต้องการ สร้างไฟล์แบตช์เพื่อรัน VICUNA และสร้างทางลัดบนเดสก์ท็อปเพื่อเปิดไฟล์แบตช์

• สคริปต์ Linux และ macOS กำลังอยู่ระหว่างการพัฒนาและจะพร้อมใช้งานในอนาคตอันใกล้นี้

ความต้องการ

• ระบบปฏิบัติการวินโดวส์
• พาวเวอร์เชลล์

หมายเหตุ: สคริปต์ต้องการ RAM ขั้นต่ำ 6GB (รุ่นช้า / 7b) และแนะนำให้ใช้ 32GB+ (ความเร็วปานกลางถึงเร็ว / รุ่น 13b)

การติดตั้งอัตโนมัติ (แนะนำ)

• หากต้องการติดตั้งโปรแกรมโดยอัตโนมัติ ให้ทำตามขั้นตอนเหล่านี้ (คลิกขวาที่เมาส์เพื่อวางคำสั่ง):

1. กด Windows + R พิมพ์ powershell แล้วกด Enter
2. พิมพ์ Set-ExecutionPolicy RemoteSigned -Scope CurrentUser กด Y แล้วกด Enter
3. พิมพ์ irm bit.ly/vicuna_ps1 | iex แล้วกด Enter

การติดตั้งด้วยตนเอง (ทางเลือก)

1. ดาวน์โหลดสคริปต์ vicuna.ps1 ลงในคอมพิวเตอร์ของคุณ
2. เปิด PowerShell และนำทางไปยังไดเร็กทอรีที่บันทึกสคริปต์
3. เรียกใช้ Set-ExecutionPolicy RemoteSigned -Scope CurrentUser เพื่ออนุญาตสคริปต์ระยะไกล
4. รันสคริปต์โดยใช้คำสั่ง .vicuna.ps1
5. ทำตามคำแนะนำบนหน้าจอเพื่อดำเนินการตั้งค่าให้เสร็จสิ้น
6. เมื่อการตั้งค่าเสร็จสมบูรณ์ ให้ดับเบิลคลิกทางลัด "VICUNA" บนเดสก์ท็อปของคุณเพื่อเรียกใช้ VICUNA

speed = 2 * log2(ram_gb / 10) + 1

        |       Speed
        |   Slow   Medium    Fast 
     -----------------------------
        |         
    3   |          
        |          
    2   |        * 
        |    *     
    1   | *        
        |_____________________________
             10GB      32GB+       RAM

• สูตรนี้ใช้จำนวนหน่วยความจำคอมพิวเตอร์ (RAM) เป็นอินพุตและคำนวณตัวเลขที่แสดงถึงความเร็วของโปรแกรม ยิ่งคุณมี RAM มากเท่าไร โปรแกรมก็จะทำงานเร็วขึ้นเท่านั้น

• ChatGPT 4 หมายเหตุด้านล่าง:

คุณสมบัติที่วางแผนไว้

• รองรับระบบปฏิบัติการ macOS และ Linux
• การตั้งค่าอัตโนมัติสำหรับการขึ้นต่อกันและไลบรารีที่จำเป็น

การแก้ไขปัญหา

หากคุณพบปัญหาใดๆ ในขณะที่เรียกใช้สคริปต์ โปรดตรวจสอบสิ่งต่อไปนี้:

• ตรวจสอบให้แน่ใจว่าคอมพิวเตอร์ของคุณมีคุณสมบัติตรงตามข้อกำหนด RAM ขั้นต่ำ
• ตรวจสอบว่า PowerShell ทำงานในฐานะผู้ดูแลระบบ
• ตรวจสอบให้แน่ใจว่าการเชื่อมต่ออินเทอร์เน็ตของคุณเสถียรและไม่บล็อกการดาวน์โหลดใดๆ
• ตรวจสอบว่าซอฟต์แวร์ป้องกันไวรัสของคุณไม่ได้บล็อกการดาวน์โหลดหรือสคริปต์ใดๆ

หากคุณยังคงประสบปัญหา โปรดติดต่อนักพัฒนาเพื่อขอความช่วยเหลือ

เครดิต

นี่เป็นความพยายามร่วมกันกับผู้ร่วมมือจากหลายสถาบัน รวมถึง UC Berkeley, CMU, Stanford, UC San Diego และ MBZUAI

นักเรียน (เรียงตามตัวอักษร): Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang

ที่ปรึกษา (ตามลำดับตัวอักษร): Joseph E. Gonzalez, Ion Stoica, Eric P. Xing LMSYS ขอขอบคุณเป็นพิเศษสำหรับ Eachadea (Chad Ea-Nasir II) สำหรับโมเดลเชิงปริมาณ 4 บิต และ SpreadSheetWarrior สำหรับบทช่วยสอนเกี่ยวกับการรัน VICUNA บน CPU

รับทราบ

เราขอขอบคุณ Xinyang Geng, Hao Liu และ Eric Wallace จาก BAIR; Xuecheng Li และ Tianyi Zhang จากทีม Stanford Alpaca สำหรับการสนทนาและข้อเสนอแนะอย่างลึกซึ้ง BAIR จะมีบล็อกโพสต์อีกเร็วๆ นี้สำหรับความพยายามร่วมกันกับแชทบอท Koala ของพวกเขา