ทีมงาน Meta FAIR ได้เปิดตัว Dualformer โมเดล Transformer ใหม่ ซึ่งจำลองระบบการรับรู้แบบคู่ของมนุษย์ (ระบบ 1 และระบบ 2) และบรรลุการปรับปรุงที่สำคัญในด้านความสามารถในการให้เหตุผลและประสิทธิภาพการประมวลผล ต่างจาก Transformer รุ่นดั้งเดิมที่จำลองเฉพาะ System 1 หรือ System 2 เท่านั้น Dualformer สามารถสลับระหว่างโหมดการให้เหตุผลแบบเร็วและช้าได้อย่างยืดหยุ่น เพื่อปรับให้เข้ากับความซับซ้อนของงานต่างๆ นวัตกรรมนี้มีต้นกำเนิดมาจากวิธีการฝึกอบรมอันเป็นเอกลักษณ์ โดยใช้วิถีการใช้เหตุผลแบบสุ่มในการฝึกอบรม และสุ่มทิ้งส่วนต่างๆ ของวิถีเพื่อจำลองทางลัดในกระบวนการคิดของมนุษย์
เมื่อเร็วๆ นี้ ทีมงาน FAIR ของ Meta ได้เปิดตัว Transformer รุ่นใหม่ที่เรียกว่า Dualformer ซึ่งเลียนแบบระบบการรับรู้แบบคู่ของมนุษย์ และสามารถผสานรวมโหมดการใช้เหตุผลแบบเร็วและแบบช้าได้อย่างราบรื่น ทำให้เกิดความก้าวหน้าครั้งสำคัญในด้านความสามารถในการให้เหตุผลและประสิทธิภาพในการประมวลผล
โดยทั่วไปแล้ว คิดว่ากระบวนการคิดของมนุษย์ถูกควบคุมโดยสองระบบ ได้แก่ ระบบ 1 ซึ่งรวดเร็วและเป็นธรรมชาติ และระบบ 2 ซึ่งช้ากว่าและมีเหตุผลมากกว่า
โดยทั่วไปแล้ว Transformer รุ่นดั้งเดิมจะจำลองระบบ 1 หรือระบบ 2 เพียงระบบเดียวเท่านั้น ส่งผลให้ได้โมเดลที่รวดเร็วแต่มีความสามารถในการให้เหตุผลต่ำ หรือมีความสามารถในการให้เหตุผลสูงแต่ช้าและมีค่าใช้จ่ายในการคำนวณสูง
นวัตกรรมใหม่ของ Dualformer คือวิธีการฝึกฝน นักวิจัยได้ฝึกแบบจำลองโดยใช้วิถีการอนุมานแบบสุ่ม โดยสุ่มทิ้งส่วนต่างๆ ของวิถีระหว่างการฝึก คล้ายกับการวิเคราะห์กระบวนการคิดของมนุษย์และการสร้างทางลัด กลยุทธ์การฝึกอบรมนี้ช่วยให้ Dualformer สลับระหว่างโหมดต่างๆ ได้อย่างยืดหยุ่นระหว่างการอนุมาน:
โหมดรวดเร็ว: Dualformer ส่งออกเฉพาะโซลูชันขั้นสุดท้ายเท่านั้น ซึ่งเร็วมาก
โหมดช้า: Dualformer จะส่งเอาต์พุตห่วงโซ่การให้เหตุผลที่สมบูรณ์และวิธีแก้ปัญหาขั้นสุดท้าย พร้อมความสามารถในการให้เหตุผลที่แข็งแกร่งยิ่งขึ้น
โหมดอัตโนมัติ: Dualformer สามารถเลือกโหมดที่เหมาะสมได้โดยอัตโนมัติตามความซับซ้อนของงาน
ผลการทดลองแสดงให้เห็นว่า Dualformer ทำงานได้ดีในงานต่างๆ เช่น การนำทางเขาวงกตและการแก้ปัญหาทางคณิตศาสตร์ ในโหมดช้า Dualformer สามารถแก้ปัญหาการนำทางเขาวงกตขนาด 30x30 ด้วยอัตราความสำเร็จ 97.6% ซึ่งเหนือกว่าโมเดล Searchformer ที่ได้รับการฝึกฝนโดยใช้วิถีการอนุมานที่สมบูรณ์เท่านั้น ขณะเดียวกันก็ลดขั้นตอนการอนุมานลง 45.5%
ในโหมดรวดเร็ว อัตราความสำเร็จของ Dualformer ก็สูงถึง 80% ซึ่งสูงกว่าโมเดลเฉพาะโซลูชันที่ได้รับการฝึกฝนโดยใช้โซลูชันขั้นสุดท้ายเท่านั้น ในโหมดอัตโนมัติ Dualformer สามารถลดขั้นตอนการอนุมานได้อย่างมากในขณะที่ยังคงอัตราความสำเร็จไว้ในระดับสูง
ความสำเร็จของ Dualformer แสดงให้เห็นว่าการใช้ทฤษฎีการรับรู้ของมนุษย์กับการออกแบบโมเดลปัญญาประดิษฐ์สามารถปรับปรุงประสิทธิภาพของโมเดลได้อย่างมีประสิทธิภาพ โมเดลของการบูรณาการการคิดเร็วและช้านี้ให้แนวคิดใหม่ในการสร้างระบบ AI ที่ทรงพลังและมีประสิทธิภาพมากขึ้น
ที่อยู่กระดาษ: https://arxiv.org/pdf/2410.09918
บรรณาธิการของ Downcodes สรุป: การเกิดขึ้นของ Dualformer ถือเป็นก้าวสำคัญในการออกแบบโมเดลปัญญาประดิษฐ์ที่ใกล้เคียงกับรูปแบบการคิดของมนุษย์ ความก้าวหน้าในด้านประสิทธิภาพและความแม่นยำในการให้เหตุผลทำให้เกิดทิศทางใหม่และการพัฒนาเทคโนโลยี AI ในอนาคต