Nous Research เปิดตัวเครื่องมือเพิ่มประสิทธิภาพ DisTrO ซึ่งสามารถฝึกโมเดล AI ภายใต้สภาวะเครือข่ายปกติ

Nous Research เปิดตัว DisTrO เครื่องมือเพิ่มประสิทธิภาพการฝึกอบรม AI ที่ปฏิวัติวงการ ทำลายสถานการณ์ที่การฝึกอบรมโมเดล AI ขนาดใหญ่จำกัดอยู่เฉพาะในองค์กรขนาดใหญ่เท่านั้น DisTrO สามารถลดปริมาณการรับส่งข้อมูลระหว่าง GPU หลายตัวได้อย่างมาก และสามารถฝึกโมเดล AI ได้อย่างมีประสิทธิภาพแม้ในสภาพแวดล้อมเครือข่ายทั่วไป ซึ่งจะช่วยลดเกณฑ์สำหรับการฝึกโมเดล AI ลงอย่างมาก และช่วยให้บุคคลและสถาบันต่างๆ เข้าร่วมในการพัฒนาเทคโนโลยี AI ได้มากขึ้น และการพัฒนาที่กำลังดำเนินอยู่ เทคโนโลยีที่เป็นนวัตกรรมนี้คาดว่าจะเปลี่ยนรูปแบบการวิจัยและพัฒนาในด้าน AI ไปอย่างสิ้นเชิง และส่งเสริมความนิยมและการพัฒนาเทคโนโลยี AI

เมื่อเร็วๆ นี้ ทีมวิจัยของ Nous Research ได้นำข่าวที่น่าตื่นเต้นมาสู่แวดวงเทคโนโลยี พวกเขาได้เปิดตัวเครื่องมือเพิ่มประสิทธิภาพใหม่ที่เรียกว่า DisTrO (Distributed Internet Training) การกำเนิดของเทคโนโลยีนี้หมายความว่าโมเดล AI อันทรงพลังไม่ได้เป็นเพียงสิทธิบัตรของบริษัทขนาดใหญ่เท่านั้น แต่คนทั่วไปยังมีโอกาสที่จะใช้คอมพิวเตอร์ของตนเองเพื่อการฝึกอบรมที่บ้านอย่างมีประสิทธิภาพ

ความมหัศจรรย์ของ DisTrO คือสามารถลดปริมาณข้อมูลที่จำเป็นต้องถ่ายโอนระหว่างหน่วยประมวลผลกราฟิก (GPU) หลายเครื่องได้อย่างมากเมื่อฝึกฝนโมเดล AI ด้วยนวัตกรรมนี้ โมเดล AI อันทรงพลังสามารถฝึกฝนได้ภายใต้เงื่อนไขเครือข่ายปกติ และแม้แต่อนุญาตให้บุคคลหรือสถาบันทั่วโลกร่วมมือกันเพื่อพัฒนาเทคโนโลยี AI ร่วมกัน

จากรายงานทางเทคนิคของ Nous Research การปรับปรุงประสิทธิภาพของ DisTrO นั้นน่าทึ่งมาก ประสิทธิภาพการฝึกอบรมที่ใช้นั้นสูงกว่าอัลกอริทึมทั่วไปแบบ All-Reduce ถึง 857 เท่า ในขณะเดียวกัน ปริมาณข้อมูลที่ส่งในการฝึกอบรมแต่ละครั้ง ขั้นตอนก็ลดลงจาก 74.4GB เป็น 74.4GB การปรับปรุงดังกล่าวไม่เพียงแต่ทำให้การฝึกอบรมเร็วขึ้นและถูกลงเท่านั้น แต่ยังหมายความว่ามีคนมีโอกาสเข้าร่วมในสาขานี้มากขึ้นอีกด้วย

Nous Research ระบุบนแพลตฟอร์มโซเชียลว่า DisTrO นักวิจัยและสถาบันไม่จำเป็นต้องพึ่งพาบริษัทใดบริษัทหนึ่งในการจัดการและควบคุมกระบวนการฝึกอบรมอีกต่อไป ซึ่งทำให้พวกเขามีอิสระมากขึ้นในการคิดค้นและทดลอง สภาพแวดล้อมทางการแข่งขันแบบเปิดนี้ช่วยส่งเสริมความก้าวหน้าทางเทคโนโลยีและเป็นประโยชน์ต่อสังคมทั้งหมดในที่สุด

ในการฝึกอบรม AI ความต้องการด้านฮาร์ดแวร์มักเป็นสิ่งต้องห้าม โดยเฉพาะอย่างยิ่ง NVIDIA GPU ที่มีประสิทธิภาพสูงเริ่มหายากและมีราคาแพงมากขึ้นเรื่อยๆ ในยุคนี้ และมีเพียงบริษัทที่ได้รับทุนสนับสนุนดีบางแห่งเท่านั้นที่จะรับภาระในการฝึกอบรมดังกล่าวได้ อย่างไรก็ตาม ปรัชญาของ Nous Research นั้นตรงกันข้ามโดยสิ้นเชิง พวกเขามุ่งมั่นที่จะเปิดการฝึกอบรมโมเดล AI สู่สาธารณะด้วยต้นทุนที่ต่ำกว่าและมุ่งมั่นที่จะให้ผู้คนมีส่วนร่วมมากขึ้น

DisTrO ทำงานโดยลดค่าใช้จ่ายในการสื่อสารลงสี่ถึงห้าลำดับความสำคัญโดยลดความจำเป็นในการซิงโครไนซ์การไล่ระดับสีแบบเต็มระหว่าง GPU นวัตกรรมนี้ช่วยให้โมเดล AI ได้รับการฝึกอบรมเกี่ยวกับการเชื่อมต่ออินเทอร์เน็ตที่ช้าลง โดยที่ความเร็วดาวน์โหลด 100Mbps และความเร็วในการอัพโหลด 10Mbps ที่หลายครัวเรือนในปัจจุบันก็เพียงพอแล้ว

ในการทดสอบเบื้องต้นเกี่ยวกับโมเดลภาษาขนาดใหญ่ Llama2 ของ Meta นั้น DisTrO แสดงผลการฝึกอบรมที่เทียบเคียงได้กับวิธีดั้งเดิม ในขณะเดียวกันก็ลดปริมาณการสื่อสารที่จำเป็นลงอย่างมาก นักวิจัยยังกล่าวด้วยว่าถึงแม้พวกเขาจะได้รับการทดสอบกับโมเดลขนาดเล็กเท่านั้น แต่พวกเขาคาดการณ์คร่าวๆ ว่าเมื่อขนาดของโมเดลเพิ่มขึ้น ข้อกำหนดในการสื่อสารที่ลดลงอาจมีนัยสำคัญมากขึ้น แม้ว่าจะถึง 1,000 ถึง 3,000 เท่าก็ตาม

เป็นที่น่าสังเกตว่าแม้ว่า DisTrO จะทำให้การฝึกอบรมมีความยืดหยุ่นมากขึ้น แต่ก็ยังต้องอาศัยการรองรับ GPU แต่ตอนนี้ GPU เหล่านี้ไม่จำเป็นต้องรวบรวมไว้ในที่เดียวกัน แต่สามารถกระจายไปทั่วโลกและทำงานร่วมกันผ่านอินเทอร์เน็ตธรรมดา เราเห็นว่า DisTrO สามารถจับคู่วิธี AdamW+All-Reduce แบบดั้งเดิมในแง่ของความเร็วการลู่เข้าเมื่อทดสอบอย่างเข้มงวดโดยใช้ GPU H100 32 ตัว แต่ลดข้อกำหนดในการสื่อสารลงอย่างมาก

DisTrO ไม่เพียงแต่เหมาะสำหรับโมเดลภาษาขนาดใหญ่เท่านั้น แต่ยังสามารถใช้เพื่อฝึก AI ประเภทอื่นๆ ได้ เช่น โมเดลการสร้างภาพ แนวโน้มการใช้งานในอนาคตนั้นน่าตื่นเต้นมาก นอกจากนี้ ด้วยการปรับปรุงประสิทธิภาพการฝึกอบรม DisTrO ยังอาจลดผลกระทบต่อสิ่งแวดล้อมของการฝึกอบรม AI เนื่องจากจะปรับการใช้โครงสร้างพื้นฐานที่มีอยู่ให้เหมาะสม และลดความต้องการศูนย์ข้อมูลขนาดใหญ่

Nous Research ไม่เพียงแต่ส่งเสริมความก้าวหน้าทางเทคโนโลยีในการฝึกอบรม AI ผ่านทาง DisTrO เท่านั้น แต่ยังส่งเสริมระบบนิเวศการวิจัยที่เปิดกว้างและยืดหยุ่นมากขึ้น ซึ่งเปิดโอกาสที่เป็นไปได้อย่างไม่จำกัดสำหรับการพัฒนา AI ในอนาคต

ข้อมูลอ้างอิง: https://venturebeat.com/ai/this-could-change-everything-nous-research-unveils-new-tool-to-train-powerful-ai-models-with-10000x-efficiency/

การเกิดขึ้นของ DisTrO ถือเป็นการประกาศกระบวนการทำให้เป็นประชาธิปไตยในการฝึกอบรม AI ลดเกณฑ์การมีส่วนร่วม ส่งเสริมการพัฒนาอย่างรวดเร็วและการประยุกต์ใช้เทคโนโลยี AI ในวงกว้าง และนำพลังใหม่และความเป็นไปได้ที่ไร้ขีดจำกัดมาสู่สาขา AI ในอนาคต เราคาดว่า DisTrO จะนำความประหลาดใจมาสู่การพัฒนา AI มากขึ้น