Un rapport de recherche récemment publié par l'Université Carnegie Mellon (CMU) a mené une analyse comparative approfondie de Google Gemini Pro et OpenAI GPT-3.5. La recherche couvre plusieurs domaines tels que la réponse aux questions de connaissances et le raisonnement général, et évalue la différence de performances entre les deux modèles grâce à des tests multitâches. Les résultats du rapport montrent que bien que Gemini Pro présente des avantages à certains égards en tant que modèle multimodal, GPT-3.5 affiche toujours de meilleures performances dans la plupart des tests, en particulier dans les questions et réponses de connaissances et le raisonnement général.
Webmaster Home a rapporté que les recherches de la CMU ont montré qu'il n'y avait pas beaucoup de différence entre Gemini Pro et GPT-3.5, mais qu'elle était légèrement insuffisante dans les tests multitâches. La recherche couvre de nombreux domaines et GPT-3.5 ouvre la voie en matière de réponse aux questions de connaissances et de raisonnement général. Bien que Gemini Pro soit un modèle multimodal, GPT-3.5 conserve d'excellentes performances dans la plupart des tests.
Dans l'ensemble, cette recherche de la CMU fournit une référence précieuse pour nous permettre de comprendre en profondeur les différences de performances entre Gemini Pro et GPT-3.5, et fournit également une nouvelle inspiration pour l'orientation du développement de modèles de langage à grande échelle dans le avenir. Bien que Gemini Pro ait fait quelques tentatives en matière de multimodalité, GPT-3.5 présente toujours des avantages évidents en termes de capacités de base. Des recherches de suivi pourraient se concentrer sur la manière de mieux combiner les capacités multimodales avec de puissantes capacités de raisonnement.