รายงานการวิจัยที่เพิ่งเปิดตัวโดยมหาวิทยาลัย Carnegie Mellon (CMU) ได้ทำการวิเคราะห์เปรียบเทียบเชิงลึกของ Google Gemini Pro และ OpenAI GPT-3.5 การวิจัยครอบคลุมหลายสาขา เช่น การตอบคำถามความรู้และการใช้เหตุผลทั่วไป และประเมินความแตกต่างด้านประสิทธิภาพระหว่างทั้งสองโมเดลผ่านการทดสอบแบบหลายงาน ผลรายงานแสดงให้เห็นว่าแม้ว่า Gemini Pro จะมีข้อได้เปรียบในบางแง่มุมในฐานะแบบจำลองหลายรูปแบบ แต่ GPT-3.5 ก็ยังคงแสดงประสิทธิภาพที่ดีกว่าในการทดสอบส่วนใหญ่ โดยเฉพาะอย่างยิ่งในคำถามและคำตอบความรู้และการให้เหตุผลทั่วไป
หน้าแรกของผู้ดูแลเว็บรายงานว่าการวิจัยของ CMU แสดงให้เห็นว่า Gemini Pro และ GPT-3.5 ไม่มีความแตกต่างกันมากนัก แต่การทดสอบแบบหลายงานยังไม่เพียงพอเล็กน้อย การวิจัยครอบคลุมหลายสาขา และ GPT-3.5 เป็นผู้นำในการตอบคำถามความรู้และการให้เหตุผลทั่วไป แม้ว่า Gemini Pro จะเป็นรุ่นหลายรูปแบบ แต่ GPT-3.5 ยังคงรักษาประสิทธิภาพที่ยอดเยี่ยมในการทดสอบส่วนใหญ่
โดยรวมแล้ว งานวิจัยของมหาวิทยาลัยเชียงใหม่นี้ให้ข้อมูลอ้างอิงอันทรงคุณค่าเพื่อให้เราเข้าใจอย่างลึกซึ้งถึงความแตกต่างด้านประสิทธิภาพระหว่าง Gemini Pro และ GPT-3.5 และยังให้แรงบันดาลใจใหม่ๆ สำหรับทิศทางการพัฒนาในอนาคตของโมเดลภาษาขนาดใหญ่อีกด้วย แม้ว่า Gemini Pro จะพยายามทำหลายรูปแบบแล้ว แต่ GPT-3.5 ยังคงมีข้อดีที่ชัดเจนในความสามารถหลัก การวิจัยติดตามผลอาจมุ่งเน้นไปที่วิธีการรวมความสามารถแบบหลายรูปแบบเข้ากับความสามารถในการให้เหตุผลที่มีประสิทธิภาพได้ดีขึ้น