เมื่อเร็ว ๆ นี้ Microsoft เปิดตัวโมเดลภาษาขนาดเล็กที่เรียกว่า PHI-4 บนแพลตฟอร์ม Hugging Face เป็นโมเดลโอเพ่นซอร์สเช่น QWEN2.5 และ LLAMA-3.1 ความสำเร็จในการพัฒนานี้แสดงให้เห็นถึงศักยภาพที่แข็งแกร่งของ PHI-4 ในด้านการประมวลผลภาษา
ในการทดสอบการแข่งขันคณิตศาสตร์อเมริกัน AMC PHI-4 โดดเด่นด้วยคะแนน 91.8 ดีกว่าคู่แข่งเช่น Gemini Pro1.5 และ Claude3.5Sonnet นอกจากนี้ในการทดสอบ MMLU, Phi-4 ได้คะแนนสูง 84.8 แสดงให้เห็นถึงความสามารถที่โดดเด่นในการให้เหตุผลและการประมวลผลทางคณิตศาสตร์ ความสำเร็จเหล่านี้ไม่เพียง แต่น่าประทับใจ แต่ยังวางรากฐานที่มั่นคงสำหรับ PHI-4 ที่จะใช้ในการใช้งานในอนาคต
ซึ่งแตกต่างจากหลายรุ่นที่พึ่งพาแหล่งข้อมูลอินทรีย์ PHI-4 ใช้วิธีการสร้างข้อมูลสังเคราะห์ที่เป็นนวัตกรรมรวมถึงการแจ้งเตือนหลายตัวแทนการกลับคำสั่งและการแก้ไขตนเอง วิธีการเหล่านี้ปรับปรุงประสิทธิภาพของ Phi-4 อย่างมีนัยสำคัญในงานที่ซับซ้อนทำให้มีประสิทธิภาพและแม่นยำยิ่งขึ้นในการจัดการกับการใช้เหตุผลและการแก้ปัญหา กลยุทธ์การสร้างข้อมูลที่ไม่ซ้ำกันนี้ให้การสนับสนุนที่สำคัญสำหรับความสำเร็จของ Phi-4
PHI-4 ใช้สถาปัตยกรรมหม้อแปลงเฉพาะตัวถอดรหัสรองรับความยาวบริบทสูงถึง 16K ทำให้เหมาะสำหรับการประมวลผลข้อมูลอินพุตขนาดใหญ่ ในระหว่างกระบวนการฝึกอบรมล่วงหน้า Phi-4 ใช้โทเค็นประมาณ 10 ล้านล้านโทเค็นรวมข้อมูลสังเคราะห์และข้อมูลอินทรีย์ที่คัดกรองอย่างเคร่งครัดเพื่อให้มั่นใจถึงประสิทธิภาพที่ยอดเยี่ยมในการทดสอบมาตรฐานเช่น MMLU และ Humaneval สถาปัตยกรรมและกลยุทธ์ข้อมูลที่มีประสิทธิภาพนี้ตั้งค่า Phi-4 นอกเหนือจากรุ่นที่คล้ายกัน
คุณสมบัติและข้อได้เปรียบของ PHI-4 รวมถึงความกะทัดรัดและประสิทธิภาพทำให้สามารถทำงานบนฮาร์ดแวร์ของผู้บริโภคได้ รุ่นและรุ่นที่ใหญ่กว่า 4 สนับสนุนการปรับแต่งด้วยชุดข้อมูลสังเคราะห์ที่หลากหลายเพื่ออำนวยความสะดวกในการตอบสนองความต้องการของสาขาเฉพาะ นักพัฒนายังสามารถรวม PHI-4 ผ่านเอกสารโดยละเอียดและ APIs บนแพลตฟอร์ม Hugging Face เพื่อขยายสถานการณ์แอปพลิเคชันของพวกเขาต่อไป
ในแง่ของนวัตกรรมทางเทคโนโลยีการพัฒนา PHI-4 ส่วนใหญ่อาศัยเสาหลักสามเสา: หลายตัวแทนและเทคนิคการแก้ไขตนเองสำหรับการสร้างข้อมูลสังเคราะห์วิธีการเพิ่มประสิทธิภาพหลังการฝึกอบรมเช่นการสุ่มตัวอย่างการปฏิเสธและการเพิ่มประสิทธิภาพการตั้งค่าโดยตรง (DPO) และอย่างเคร่งครัด ข้อมูลการฝึกอบรมที่ผ่านการกรอง นอกจากนี้ PHI-4 ยังใช้การค้นหาเครื่องหมายคีย์ (PTS) เพื่อระบุโหนดสำคัญในกระบวนการตัดสินใจซึ่งจะเพิ่มประสิทธิภาพความสามารถในการจัดการงานการอนุมานที่ซับซ้อน นวัตกรรมทางเทคโนโลยีเหล่านี้เป็นรากฐานทางเทคนิคที่แข็งแกร่งสำหรับความสำเร็จของ Phi-4
ด้วยแหล่งที่มาของ PHI-4 ความคาดหวังของนักพัฒนาได้ในที่สุดก็เป็นจริง รุ่นนี้ไม่เพียง แต่พร้อมใช้งานสำหรับการดาวน์โหลดบนแพลตฟอร์ม Hugging Face เท่านั้น แต่ยังรองรับการใช้งานเชิงพาณิชย์ภายใต้ใบอนุญาต MIT นโยบายที่เปิดกว้างนี้ดึงดูดความสนใจของนักพัฒนาจำนวนมากและผู้ที่ชื่นชอบ AI และกอดโซเชียลมีเดียอย่างเป็นทางการของ Face Face ก็แสดงความยินดีด้วยเรียกมันว่า "โมเดล 14B ที่ดีที่สุดในประวัติศาสตร์" โอเพ่นซอร์สของ Phi-4 ไม่เพียง แต่ให้เครื่องมือที่มีประสิทธิภาพแก่นักพัฒนา แต่ยังฉีดพลังใหม่เข้าสู่นวัตกรรมในสนาม AI
ทางเข้าโมเดล: https://huggingface.co/microsoft/phi-4
ประเด็นสำคัญ:
** Microsoft เปิดตัวพารามิเตอร์ขนาดเล็ก PHI-4 โดยมีพารามิเตอร์เพียง 14 พันล้าน แต่มีรุ่นที่รู้จักกันดีหลายรุ่น -
** Phi-4 ทำงานได้ดีในการทดสอบประสิทธิภาพหลายครั้งโดยเฉพาะอย่างยิ่งในวิชาคณิตศาสตร์และการใช้เหตุผล -
PHI-4 เป็นโอเพ่นซอร์สและสนับสนุนการใช้ในเชิงพาณิชย์ดึงดูดความสนใจและการใช้งานของนักพัฒนาหลายคน