ดาวน์โหลด NeMo Framework Launcher - ดาวน์โหลดซอร์สโค้ด NeMo Framework Launcher

ตัวเรียกใช้กรอบงาน NeMo

ซอร์สโค้ดอื่น ๆ

24.07

ดาวน์โหลด

ตัวเรียกใช้กรอบงาน NeMo

สำคัญ

NeMo Framework Launcher เข้ากันได้กับ NeMo เวอร์ชัน 1.0 เท่านั้น

NeMo Framework Launcher เป็นเครื่องมือบนระบบคลาวด์สำหรับการเปิดตัวงานการฝึกอบรม NeMo Framework แบบครบวงจร

โปรดดูคู่มือ NeMo Launcher สำหรับข้อมูลเพิ่มเติม

NeMo Framework มุ่งเน้นไปที่การฝึกอบรมโมเดลพื้นฐานสำหรับโมเดล AI เชิงสร้างสรรค์ โดยทั่วไปแล้ว การฝึกสอนล่วงหน้าด้วยโมเดลภาษาขนาดใหญ่ (LLM) ต้องใช้การประมวลผลและการจำลองแบบขนานจำนวนมากเพื่อปรับขนาดการฝึกอบรมได้อย่างมีประสิทธิภาพ NeMo Framework ประกอบด้วยเทคนิคการฝึกอบรมขนาดใหญ่ล่าสุด ได้แก่:

ความเท่าเทียมของโมเดล
- เทนเซอร์
- ไปป์ไลน์
- ลำดับ
เครื่องมือเพิ่มประสิทธิภาพแบบกระจาย
การฝึกความแม่นยำแบบผสม
- เอฟพี8
- BF16
จุดตรวจแบบกระจาย
โมเดลชุมชน
- ลามะ-2

การฝึกโมเดล NeMo Framework ปรับขนาดเป็น GPU ได้ถึง 1,000 ตัว และสามารถใช้สำหรับการฝึก LLM ด้วยโทเค็นนับล้านล้าน

Launcher ได้รับการออกแบบมาให้เป็นเครื่องมือที่เรียบง่ายและใช้งานง่ายสำหรับการเรียกใช้งานการฝึกอบรม NeMo FW บน CSP หรือคลัสเตอร์ภายในองค์กร โดยทั่วไปแล้วตัวเรียกใช้งานจะใช้จากโหนดหลักและต้องการการติดตั้ง Python เพียงเล็กน้อยเท่านั้น

Launcher จะสร้างและเรียกใช้สคริปต์การส่งสำหรับตัวกำหนดเวลาคลัสเตอร์ และจะจัดระเบียบและจัดเก็บผลลัพธ์ของงานด้วย ไฟล์การกำหนดค่าที่ทดสอบจะรวมอยู่ในตัวเรียกใช้งาน แต่ผู้ใช้สามารถแก้ไขสิ่งใดก็ตามในไฟล์การกำหนดค่าได้อย่างง่ายดาย

NeMo FW Launcher ได้รับการทดสอบกับคอนเทนเนอร์ NeMo FW ซึ่งสามารถนำไปใช้ได้ที่นี่ การเข้าถึงเป็นไปโดยอัตโนมัติ ผู้ใช้ยังสามารถกำหนดค่า Launcher ให้ใช้อิมเมจคอนเทนเนอร์ที่ต้องการได้อย่างง่ายดาย

ตัวเรียกใช้ NeMo FW รองรับ:

การตั้งค่าและการกำหนดค่าคลัสเตอร์
การดาวน์โหลด การดูแลจัดการ และการประมวลผลข้อมูล
การกำหนดค่าแบบจำลองแบบขนาน
การฝึกอบรมแบบจำลอง
การปรับแต่งโมเดลอย่างละเอียด (SFT และ PEFT)
การประเมินแบบจำลอง
การส่งออกโมเดลและการปรับใช้

โมเดลบางรุ่นที่เรารองรับ ได้แก่:

GPT
- การฝึกล่วงหน้า, การปรับแต่งแบบละเอียด, SFT, PEFT
เบิร์ต
T5/MT5
- PEFT, MoE (ไม่ใช่ผู้เชี่ยวชาญ)

ดูเมทริกซ์คุณลักษณะสำหรับรายละเอียดเพิ่มเติม

การติดตั้ง

ควรติดตั้ง NeMo Framework Launcher บนโหนดหลักหรือเครื่องโลคัลในสภาพแวดล้อม Python เสมือน

git clone https://github.com/NVIDIA/NeMo-Framework-Launcher.git
cd NeMo-Framework-Launcher
pip install -r requirements.txt

การใช้งาน

วิธีที่ดีที่สุดในการเริ่มต้นใช้งาน NeMo Framework Launcher คือไปที่ NeMo Framework Playbooks

หลังจากที่ทุกอย่างได้รับการกำหนดค่าในไฟล์ .yaml แล้ว Launcher สามารถทำงานได้ด้วย:

python main.py

เนื่องจาก Launcher ใช้ Hydra การกำหนดค่าใดๆ จึงสามารถแทนที่ได้โดยตรงในไฟล์ .yaml หรือผ่านทางบรรทัดคำสั่ง ดูไวยากรณ์แทนที่ของไฮดราสำหรับข้อมูลเพิ่มเติม

มีส่วนร่วม

ยินดีบริจาค!

หากต้องการสนับสนุน NeMo Framework Launcher เพียงสร้างคำขอดึงที่มีการเปลี่ยนแปลงบน GitHub หลังจากที่คำขอดึงได้รับการตรวจสอบโดยนักพัฒนา NeMo FW อนุมัติ และผ่านการทดสอบยูนิตและ CI จากนั้นคำขอจะถูกรวมเข้าด้วยกัน