โปรเจ็กต์ Q* ได้รับการเผยแพร่สู่สาธารณะ และความสามารถในการให้เหตุผลของโมเดลขนาดเล็กได้รับการปรับปรุงร้อยเท่า

ทีมงานของ Kunlun Wanwei Yan Shuicheng ร่วมมือกับมหาวิทยาลัยเทคโนโลยีนันยางในสิงคโปร์เพื่อเผยแพร่โครงการที่ก้าวหน้าที่เรียกว่า Q* ซึ่งมีเป้าหมายเพื่อปรับปรุงความสามารถในการให้เหตุผลของแบบจำลองภาษาขนาดเล็กอย่างมีนัยสำคัญ แตกต่างจากโมเดลภาษาขนาดใหญ่อื่นๆ ในตลาด Q* มุ่งเน้นไปที่การเพิ่มประสิทธิภาพของโมเดลขนาดเล็ก ทำให้ความสามารถในการให้เหตุผลสามารถเทียบได้กับโมเดลที่มีพารามิเตอร์ที่ใหญ่กว่าหลายสิบหรือหลายร้อยเท่า ผลการวิจัยนี้คาดว่าจะเปลี่ยนข้อจำกัดของโมเดลขนาดเล็กในการใช้งานจริง และนำโอกาสการพัฒนาใหม่ๆ มาสู่สาขาปัญญาประดิษฐ์ ด้วยอัลกอริธึมที่เป็นนวัตกรรมใหม่ Q* ได้ปรับปรุงความสามารถในการให้เหตุผลของโมเดลขนาดเล็กอย่างมีนัยสำคัญ และบรรลุผลลัพธ์ที่ยอดเยี่ยมเหนือกว่าโมเดลขนาดใหญ่ในการทดสอบเกณฑ์มาตรฐานหลายรายการ

เมื่อเร็วๆ นี้ ทีม Kunlun Wanwei Yan Shuicheng ในประเทศและทีมวิจัยจาก Nanyang Technological University ในสิงคโปร์ ได้เปิดตัวโครงการชื่อ Q* โดยมีเป้าหมายเพื่อปรับปรุงความสามารถในการให้เหตุผลของโมเดลขนาดเล็ก โปรเจ็กต์นี้แตกต่างจาก OpenAI แต่สามารถเปิดใช้งานโมเดลขนาดเล็กเพื่อให้บรรลุความสามารถในการให้เหตุผลของโมเดลที่มีพารามิเตอร์ที่ใหญ่กว่าหลายสิบหรือหลายร้อยเท่า

ทีมวิจัยได้รับผลลัพธ์ที่น่าทึ่งผ่านประสิทธิภาพการทดลองของอัลกอริธึม Q*: ในชุดข้อมูล GSM8K นั้น Q* ช่วยให้ Llama-2-7b ปรับปรุงให้มีความแม่นยำ 80.8% ซึ่งเหนือกว่า ChatGPT

ในชุดข้อมูล MATH นั้น Q* ช่วยให้ DeepSeek-Math-7b ปรับปรุงให้มีความแม่นยำถึง 55.4% ซึ่งเหนือกว่า Gemini Ultra

ในชุดข้อมูล MBPP Q * ช่วยให้ CodeQwen1.5-7b-Chat เพิ่มความแม่นยำเป็น 77.0% ทำให้ช่องว่างระดับการเขียนโปรแกรมแคบลงด้วย GPT-4 ผลลัพธ์เหล่านี้แสดงให้เห็นถึงศักยภาพของอัลกอริธึม Q* ในการปรับปรุงความสามารถในการให้เหตุผลของแบบจำลองขนาดเล็ก

หลักการทำงานของอัลกอริธึม Q* คือการแยกย่อยวิถีการใช้เหตุผลของโมเดลภาษาขนาดใหญ่ออกเป็นหลายสถานะ ดำเนินการวางแผนโดยรวมสำหรับแต่ละรัฐ และใช้อัลกอริธึมการค้นหา A* เพื่อให้บรรลุการค้นหาที่มีลำดับความสำคัญสำหรับงานการให้เหตุผลที่ซับซ้อน ในเวลาเดียวกัน พวกเขายังฝึกอบรมแบบจำลองค่า Q ของตัวแทนผ่านการเรียนรู้แบบมีผู้สอนเพื่อให้ได้ค่า Q ที่เหมาะสมที่สุดของคู่สถานะ-การกระทำ ซึ่งจะช่วยปรับปรุงประสิทธิภาพของแบบจำลอง

ไฮไลท์:

โปรเจ็กต์ Q* ไม่ได้รับการเผยแพร่โดย OpenAI ด้วยอัลกอริธึมของทีมวิจัย ความสามารถในการให้เหตุผลของโมเดลขนาดเล็กได้รับการปรับปรุงอย่างมาก

โครงการนี้บรรลุผลการทดลองที่น่าทึ่งกับชุดข้อมูลหลายชุด ซึ่งแสดงให้เห็นถึงศักยภาพและประสิทธิผลของอัลกอริทึม Q*

ลิงค์กระดาษ: https://arxiv.org/abs/2406.14283

ผลการวิจัยของโครงการ Q* มอบแนวทางใหม่สำหรับการพัฒนาโมเดลขนาดเล็ก อัลกอริธึมที่มีประสิทธิภาพและผลการปรับปรุงที่สำคัญนั้นคุ้มค่าแก่ความสนใจ ในอนาคต อัลกอริทึมนี้คาดว่าจะนำไปใช้ในสาขาอื่นๆ มากขึ้นและส่งเสริมความก้าวหน้าของเทคโนโลยีปัญญาประดิษฐ์ มีการจัดเตรียมลิงก์ไปยังบทความนี้สำหรับผู้อ่านที่สนใจเพื่อเรียนรู้รายละเอียดเพิ่มเติม