การศึกษาเมื่อเร็ว ๆ นี้แสดงให้เห็นว่าการทำงานของ GPT-4 ในงานท้าทายการจดจำภาพนั้นไม่เหมาะ นักวิจัยตั้งข้อสังเกตว่านี่อาจเป็นเพราะภาพในงานเป็นเรื่องธรรมดาเกินไปในชุดการฝึกอบรมส่งผลให้ GPT-4 พึ่งพาหน่วยความจำมากกว่าการจดจำภาพที่แท้จริงเพื่อให้งานเสร็จสมบูรณ์ การค้นพบนี้เตือนเราว่าแม้ว่ารุ่นขนาดใหญ่จะทำงานได้ดีในงานบางอย่างพวกเขาจำเป็นต้องได้รับการประเมินอย่างรอบคอบสำหรับความสามารถที่แท้จริงของพวกเขา
ผลการศึกษาครั้งนี้เน้นถึงความสำคัญของความสามารถในการวางแบบจำลอง แม้ว่า GPT-4 จะประสบความสำเร็จอย่างมีนัยสำคัญในชุดการฝึกอบรม แต่ก็ไม่ได้หมายความว่ามันสามารถทำงานได้ดีพอ ๆ กันในสถานการณ์จริงที่กว้างขึ้น ประสิทธิภาพของแบบจำลองในชุดการฝึกอบรมไม่ได้แสดงถึงความสามารถในการใช้งานจริงอย่างเต็มที่ดังนั้นเมื่อประเมินประสิทธิภาพของแบบจำลองจะต้องทดสอบในตัวอย่างที่กว้างขึ้น
หนึ่งในการวิจัยในปัจจุบันมุ่งเน้นไปที่การปรับปรุงการวางนัยทั่วไปของแบบจำลองและความทนทานของตัวอย่างที่เป็นปฏิปักษ์ ในขณะที่ขนาดของแบบจำลองยังคงขยายตัวอย่างไรเพื่อให้แน่ใจว่าสามารถรักษาประสิทธิภาพที่มั่นคงเมื่อเผชิญกับข้อมูลใหม่หรือการโจมตีที่เป็นปฏิปักษ์ได้กลายเป็นปัญหาเร่งด่วน นักวิจัยกำลังสำรวจวิธีการต่าง ๆ รวมถึงการปรับปรุงกลยุทธ์การฝึกอบรมแนะนำเทคนิคการทำให้เป็นมาตรฐานใหม่และการพัฒนาวิธีการฝึกอบรมที่มีประสิทธิภาพมากขึ้น
นอกจากนี้การศึกษายังเตือนเราว่ามันไม่เพียงพอที่จะทดสอบแบบจำลองในชุดการฝึกอบรม เพื่อประเมินประสิทธิภาพของแบบจำลองที่ครอบคลุมมากขึ้นนักวิจัยจำเป็นต้องทดสอบชุดข้อมูลที่หลากหลายรวมถึงชุดที่แตกต่างจากชุดการฝึกอบรม ด้วยวิธีนี้เราสามารถเข้าใจประสิทธิภาพของโมเดลได้อย่างแม่นยำยิ่งขึ้นในการใช้งานจริงและค้นพบข้อ จำกัด ที่อาจเกิดขึ้น
ในระยะสั้นแม้ว่ารุ่นใหญ่เช่น GPT-4 จะแสดงความสามารถที่ยอดเยี่ยมในงานหลายอย่าง แต่เราก็ยังต้องระมัดระวัง การปรับปรุงความสามารถทั่วไปและความทนทานของแบบจำลองรวมถึงการทดสอบที่ครอบคลุมเกี่ยวกับชุดข้อมูลที่แตกต่างกันเป็นทิศทางที่สำคัญสำหรับการวิจัยในอนาคต ด้วยวิธีนี้เท่านั้นที่เราสามารถเข้าใจและใช้แบบจำลองขั้นสูงเหล่านี้ได้ดีขึ้นและส่งเสริมการพัฒนาเทคโนโลยีปัญญาประดิษฐ์