Laporan penelitian yang baru-baru ini dirilis oleh Carnegie Mellon University (CMU) melakukan analisis komparatif mendalam terhadap Google Gemini Pro dan OpenAI GPT-3.5. Penelitian ini mencakup berbagai bidang seperti menjawab pertanyaan pengetahuan dan penalaran umum, serta mengevaluasi perbedaan kinerja antara kedua model melalui pengujian multitugas. Hasil laporan menunjukkan bahwa meskipun Gemini Pro memiliki keunggulan dalam beberapa aspek sebagai model multi-modal, GPT-3.5 masih menunjukkan kinerja yang lebih kuat di sebagian besar pengujian, terutama dalam tanya jawab pengetahuan dan penalaran umum.
Webmaster Home melaporkan bahwa penelitian CMU menunjukkan bahwa tidak banyak perbedaan antara Gemini Pro dan GPT-3.5, namun sedikit kurang memadai dalam pengujian multitugas. Penelitian mencakup banyak bidang, dan GPT-3.5 memimpin dalam menjawab pertanyaan pengetahuan dan penalaran umum. Meskipun Gemini Pro adalah model multi-modal, GPT-3.5 mempertahankan performa luar biasa di sebagian besar pengujian.
Secara keseluruhan, penelitian CMU ini memberikan referensi berharga bagi kami untuk memahami secara mendalam perbedaan performa antara Gemini Pro dan GPT-3.5, dan juga memberikan inspirasi baru untuk arah pengembangan model bahasa besar di masa depan. Meskipun Gemini Pro telah melakukan beberapa upaya multi-modalitas, GPT-3.5 masih memiliki keunggulan nyata dalam kemampuan inti. Penelitian lanjutan mungkin berfokus pada cara menggabungkan kemampuan multi-modal dengan kemampuan penalaran yang kuat dengan lebih baik.