หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

เรียบง่าย

การปรับแต่ง LLM บนคลาวด์แบบโอเพ่นซอร์สที่ง่ายดายสุด ๆ

ลองที่นี่

เข้าร่วม Discord ของเรา

รับคีย์ API ฟรีสำหรับการปรับแต่งที่นี่

Simplifine เพิ่มความคล่องตัวในการปรับแต่ง LLM บนชุดข้อมูลหรือโมเดลด้วยคำสั่งง่ายๆ เพียงคำสั่งเดียว จัดการโครงสร้างพื้นฐานทั้งหมด การจัดการงาน พื้นที่เก็บข้อมูลบนคลาวด์ และการอนุมาน

คุณสมบัติ

  • การปรับแต่ง LLM บนคลาวด์อย่างง่าย: ปรับแต่ง LLM ใด ๆ อย่างละเอียดด้วยคำสั่งเดียว

  • บูรณาการระบบคลาวด์อย่างราบรื่น: จัดการการดาวน์โหลด จัดเก็บ และเรียกใช้โมเดลโดยตรงจากระบบคลาวด์โดยอัตโนมัติ

  • ความช่วยเหลือ AI ในตัว: รับความช่วยเหลือเกี่ยวกับการเลือกไฮเปอร์พารามิเตอร์ การสร้างชุดข้อมูลสังเคราะห์ และการตรวจสอบคุณภาพข้อมูล

  • การสลับบนอุปกรณ์เป็นคลาวด์: เพิ่มเครื่องมือตกแต่งที่เรียบง่ายเพื่อเปลี่ยนจากการฝึกอบรมในพื้นที่ไปสู่คลาวด์

  • การเพิ่มประสิทธิภาพอัตโนมัติ: ปรับโมเดลและข้อมูลแบบขนานให้เหมาะสมโดยอัตโนมัติผ่าน Deepspeed ✅ และ FDSP ✅

  • การสนับสนุนการประเมินแบบกำหนดเอง: ใช้ LLM ในตัวสำหรับฟังก์ชันการประเมินหรือนำเข้าตัวชี้วัดการประเมินที่คุณกำหนดเอง

  • การสนับสนุนชุมชน: ถามคำถามสนับสนุนบน Simplifine Community Discord

  • ได้รับความไว้วางใจจากสถาบันชั้นนำ: ห้องปฏิบัติการวิจัยของมหาวิทยาลัยออกซ์ฟอร์ดไว้วางใจ Simplifine สำหรับความต้องการในการปรับแต่ง LLM

เริ่มต้นอย่างรวดเร็ว

เริ่มต้นได้ที่นี่ >

เอกสารประกอบ

ค้นหาเอกสารฉบับเต็มของเราได้ที่ docs.simplifine.com

การติดตั้ง

การติดตั้งจาก PyPI

 pip ติดตั้ง simlifine-alpha

คุณยังสามารถติดตั้งได้โดยตรงจาก GitHub โดยใช้คำสั่งต่อไปนี้:

 pip ติดตั้ง git+https://github.com/simplifine-llm/Simplifine.git

มีส่วนร่วม

เรากำลังมองหาผู้มีส่วนร่วม! เข้าร่วมกระทู้ contributors บน Discord ของเรา:

ใบอนุญาต

Simplifine ได้รับอนุญาตภายใต้ GNU General Public License เวอร์ชัน 3 ดูไฟล์ LICENSE สำหรับรายละเอียดเพิ่มเติม

สนับสนุน

สำหรับคำขอฟีเจอร์ ข้อบกพร่อง และการสนับสนุนทั้งหมด เข้าร่วม Discord ของเรา!

หากคุณมีข้อเสนอแนะเกี่ยวกับคุณสมบัติใหม่ที่คุณต้องการให้มีการใช้งาน โปรดแจ้งปัญหา เราจะทำงานอย่างเต็มที่เพื่อให้มันเกิดขึ้นโดยเร็วที่สุด!

หากมีคำถามอื่นๆ โปรดติดต่อเราที่[email protected]

อัพเดท

v0.0.8

  • - การแก้ไขข้อบกพร่อง: ปรับปรุงโค้ดและแก้ไขปัญหาที่เกี่ยวข้องกับเทรนเนอร์เพื่อการทำงานที่ราบรื่นยิ่งขึ้น

  • คุณสมบัติใหม่: เปิดตัวการรองรับสำหรับการกำหนดไฟล์การกำหนดค่าที่ซับซ้อนมากขึ้น ช่วยเพิ่มความยืดหยุ่นของผู้ฝึกสอน

  • เอกสารประกอบ: เพิ่มตัวอย่างใหม่ รวมถึงบทช่วยสอนเกี่ยวกับการฝึกอบรมบนคลาวด์และการสร้างเครื่องมือตรวจจับข่าวปลอม

  • - เอกสารที่อัปเดต: ตรวจสอบเอกสารล่าสุดได้ที่ docs.simplifine.com

v0.0.71

  • - การแก้ไขข้อบกพร่อง: แก้ไขปัญหาที่ทำให้การโหลดล้มเหลวในการกำหนดค่าบางอย่าง ทำให้มั่นใจได้ถึงความเข้ากันได้ในวงกว้าง

  • คุณสมบัติใหม่: เปิดใช้งานการติดตั้งโดยตรงจาก Git และเพิ่มการรองรับโทเค็น Hugging Face API ทำให้สามารถเข้าถึงโมเดลที่ถูกจำกัดได้

  • เอกสารประกอบ: ตัวอย่างที่รีเฟรชเพื่อแสดงคุณสมบัติล่าสุด

ข้อควรพิจารณาด้านการคำนวณทั่วไป

ปัจจุบันเรารองรับทั้ง DistributedDataParallel (DDP) และ ZeRO จาก DeepSpeed

TL;DR :

  • DDP มีประโยชน์เมื่อโมเดลสามารถใส่หน่วยความจำ GPU ได้ (ซึ่งรวมถึงการไล่ระดับสีและสถานะการเปิดใช้งาน)

  • ZeRO มีประโยชน์เมื่อโมเดลต้องการการแบ่งส่วนใน GPU หลายตัว

เวอร์ชันที่ยาวกว่า :

  • DDP : Distributed Data Parallel (DDP) สร้างแบบจำลองของโมเดลบนโปรเซสเซอร์แต่ละตัว (GPU) ตัวอย่างเช่น ลองนึกภาพ GPU 8 ตัว ซึ่งแต่ละ GPU ได้รับการป้อนจุดข้อมูลจุดเดียว ซึ่งจะได้ขนาดแบทช์เป็น 8 จากนั้นแบบจำลองแบบจำลองจะได้รับการอัปเดตบนอุปกรณ์แต่ละเครื่อง DDP เร่งการฝึกอบรมโดยทำให้กระบวนการป้อนข้อมูลพร้อมกัน อย่างไรก็ตาม DDP จะล้มเหลว หากแบบจำลองไม่พอดีกับหน่วยความจำ GPU โปรดจำไว้ว่า หน่วยความจำไม่เพียงโฮสต์พารามิเตอร์เท่านั้น แต่ยังรวมถึงสถานะการไล่ระดับสีและเครื่องมือเพิ่มประสิทธิภาพด้วย

  • ZeRO : ZeRO เป็นการเพิ่มประสิทธิภาพอันทรงพลังที่พัฒนาโดย DeepSpeed ​​และมาในขั้นตอนต่างๆ (1, 2 และ 3) แต่ละขั้นตอนจะแยกส่วนต่างๆ ของกระบวนการฝึก (พารามิเตอร์ การไล่ระดับสี และสถานะการเปิดใช้งาน) สิ่งนี้มีประโยชน์มากหากโมเดลไม่สามารถใส่หน่วยความจำ GPU ได้ ZeRO ยังรองรับการออฟโหลดไปยัง CPU ทำให้มีพื้นที่มากขึ้นสำหรับการฝึกฝนโมเดลขนาดใหญ่

ตัวอย่างสถานการณ์และวิธีการเพิ่มประสิทธิภาพที่เหมาะสม:

  1. รุ่น LLaMA-3-8b ที่มีความแม่นยำ 16 บิต : ใช้ ZeRO Stage 3 บน 8 A100

  2. รุ่น LLaMA-3-8b พร้อมอะแดปเตอร์ LoRA : มักจะใช้ได้กับ DDP บน A100

  3. GPT-2 ที่มีความแม่นยำ 16 บิต : ใช้ DDP

คำถามที่พบบ่อย

ปัญหา: RuntimeError: เกิดข้อผิดพลาดในการสร้างส่วนขยาย 'cpu_adam' python dev

ข้อผิดพลาดนี้เกิดขึ้นเมื่อไม่ได้ติดตั้ง python-dev และ ZeRO กำลังใช้ออฟโหลด หากต้องการแก้ไขปัญหานี้ ให้ลอง:

 # ลอง sudo apt-get install python3-dev หากสิ่งต่อไปนี้ล้มเหลว apt-get install python-dev # สำหรับ Python 2.x installsapt-get install python3-dev # สำหรับการติดตั้ง Python 3.x

ดูลิงค์นี้

ขยาย
ข้อมูลเพิ่มเติม
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด