บรรณาธิการของ Downcodes จะพาคุณไปเรียนรู้เกี่ยวกับความก้าวหน้าล่าสุดของนักวิจัย Meta! พวกเขาใช้แบบจำลอง Transformer เพื่อเอาชนะปัญหาที่ยังไม่ได้รับการแก้ไขที่มีมายาวนานในด้านระบบไดนามิก โดยการค้นหาฟังก์ชัน Lyapunov ทั่วโลก งานวิจัยนี้ไม่เพียงแต่แสดงให้เห็นถึงความสามารถอันทรงพลังของแบบจำลองภาษาขนาดใหญ่ในการให้เหตุผลทางคณิตศาสตร์ที่ซับซ้อนเท่านั้น แต่ที่สำคัญกว่านั้น ยังเสนอวิธีการ "สร้างย้อนกลับ" ที่เป็นนวัตกรรมใหม่ ซึ่งสามารถแก้ปัญหาข้อมูลการฝึกอบรมที่ไม่เพียงพอได้อย่างมีประสิทธิภาพ และปูทางให้ AI ในการค้นพบทางวิทยาศาสตร์ . แอปพลิเคชั่นในนั้นได้เปิดช่องทางใหม่ ผลการวิจัยได้รับการเผยแพร่บน arXiv และได้ระบุที่อยู่ของรายงานไว้แล้ว
โมเดลภาษาขนาดใหญ่ทำงานได้ดีในหลาย ๆ งาน แต่ความสามารถในการให้เหตุผลยังคงเป็นที่ถกเถียงกัน นักวิจัยที่ Meta เพิ่งตีพิมพ์บทความที่แสดงให้เห็นว่าพวกเขาใช้แบบจำลอง Transformer เพื่อแก้ปัญหาทางคณิตศาสตร์ที่มีมายาวนานได้อย่างไร: การค้นพบฟังก์ชัน Lyapunov ระดับโลกของระบบไดนามิก
ฟังก์ชันเลียปูนอฟสามารถระบุได้ว่าระบบไดนามิกมีความเสถียรหรือไม่ ตัวอย่างเช่น สามารถใช้เพื่อทำนายความเสถียรในระยะยาวของปัญหาสามวัตถุ นั่นคือวิถีโคจรระยะยาวของวัตถุท้องฟ้าทั้งสามภายใต้อิทธิพลของแรงโน้มถ่วง . อย่างไรก็ตาม ยังไม่พบวิธีการทั่วไปในการรับฟังก์ชันเลียปูนอฟ และฟังก์ชันที่สอดคล้องกันนั้นเป็นที่รู้จักในเพียงไม่กี่ระบบเท่านั้น
เพื่อแก้ปัญหานี้ นักวิจัยที่ Meta ได้ฝึกฝนโมเดล Transformer แบบเรียงลำดับต่อลำดับเพื่อทำนายฟังก์ชัน Lyapunov ของระบบที่กำหนด พวกเขาใช้แนวทาง "การสร้างผกผัน" อย่างสร้างสรรค์เพื่อสร้างชุดข้อมูลการฝึกอบรมขนาดใหญ่ที่ประกอบด้วยระบบไดนามิกที่เสถียรและฟังก์ชัน Lyapunov ที่สอดคล้องกัน
วิธี "ส่งต่อ" แบบดั้งเดิมเริ่มต้นจากระบบที่สร้างขึ้นแบบสุ่มและพยายามคำนวณฟังก์ชัน Lyapunov วิธีนี้ไม่มีประสิทธิภาพและสามารถรองรับระบบง่ายๆ บางประเภทเท่านั้น วิธี "การสร้างแบบย้อนกลับ" ขั้นแรกจะสุ่มสร้างฟังก์ชัน Lyapunov จากนั้นสร้างระบบที่เสถียรซึ่งสอดคล้องกับฟังก์ชันเหล่านั้น ดังนั้นจึงหลีกเลี่ยงปัญหาในการคำนวณฟังก์ชัน Lyapunov และสร้างข้อมูลการฝึกอบรมที่หลากหลายมากขึ้น
นักวิจัยพบว่าโมเดล Transformer ที่ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูล "การสร้างผกผัน" มีความแม่นยำเกือบสมบูรณ์แบบในชุดทดสอบ (99%) และยังทำงานได้ดีกับชุดทดสอบที่ไม่กระจาย (73%) ที่น่าแปลกใจยิ่งกว่านั้นคือการเพิ่มตัวอย่างง่ายๆ จำนวนเล็กน้อย (300) ตัวอย่าง "รุ่นส่งต่อ" ให้กับชุดการฝึกอบรม ความแม่นยำของแบบจำลองสามารถปรับปรุงได้อีกถึง 84% ซึ่งแสดงให้เห็นว่าแม้แต่โซลูชันที่ทราบจำนวนเล็กน้อยก็สามารถทำได้ ปรับปรุงความแม่นยำของแบบจำลองอย่างมาก
เพื่อทดสอบความสามารถของแบบจำลองในการค้นพบฟังก์ชันใหม่ของ Lyapunov นักวิจัยได้สร้างระบบสุ่มนับหมื่นระบบและใช้แบบจำลองเพื่อคาดการณ์ ผลการวิจัยพบว่าแบบจำลองนี้ประสบความสำเร็จในการค้นหาฟังก์ชัน Lyapunov บนระบบพหุนามมากกว่าวิธีการล้ำสมัยถึง 10 เท่า และยังสามารถค้นหาฟังก์ชัน Lyapunov บนระบบที่ไม่ใช่พหุนาม ซึ่งเป็นสิ่งที่อัลกอริทึมปัจจุบันไม่สามารถทำได้ เล็กน้อย.
นักวิจัยยังได้เปรียบเทียบแบบจำลองนี้กับนักคณิตศาสตร์ที่เป็นมนุษย์ โดยได้เชิญนักศึกษาปริญญาโทสาขาคณิตศาสตร์ 25 คนมาทำแบบทดสอบ และผลลัพธ์ที่ได้แสดงให้เห็นว่าความแม่นยำของแบบจำลองนั้นสูงกว่าของมนุษย์มาก
การวิจัยนี้แสดงให้เห็นว่าโมเดล Transformer สามารถได้รับการฝึกฝนเพื่อแก้ปัญหาการใช้เหตุผลทางคณิตศาสตร์ที่ซับซ้อน และวิธีการ "สร้างผกผัน" สามารถสร้างชุดข้อมูลการฝึกอบรมที่เอาชนะข้อจำกัดของวิธีการแบบเดิมๆ ได้อย่างมีประสิทธิภาพ ในอนาคต นักวิจัยวางแผนที่จะประยุกต์วิธีนี้กับปัญหาทางคณิตศาสตร์อื่นๆ และสำรวจความเป็นไปได้อื่นๆ ของ AI ในการค้นพบทางวิทยาศาสตร์
ที่อยู่กระดาษ: https://arxiv.org/pdf/2410.08304
โดยรวมแล้ว การวิจัยของ Meta นำเสนอแนวคิดและวิธีการใหม่ๆ สำหรับ AI ในการแก้ปัญหาทางวิทยาศาสตร์ที่ซับซ้อน และยังบ่งชี้ว่า AI จะมีบทบาทสำคัญมากขึ้นในด้านการวิจัยทางวิทยาศาสตร์ บรรณาธิการของ Downcodes จะยังคงให้ความสนใจกับการพัฒนาล่าสุดในด้าน AI และนำรายงานที่น่าตื่นเต้นมาสู่ผู้อ่าน!