Un informe de investigación publicado recientemente por la Universidad Carnegie Mellon (CMU) realizó un análisis comparativo en profundidad de Google Gemini Pro y OpenAI GPT-3.5. La investigación cubre múltiples campos, como la respuesta a preguntas de conocimiento y el razonamiento general, y evalúa la diferencia de rendimiento entre los dos modelos mediante pruebas de tareas múltiples. Los resultados del informe muestran que, aunque Gemini Pro tiene ventajas en algunos aspectos como modelo multimodal, GPT-3.5 aún muestra un rendimiento más sólido en la mayoría de las pruebas, especialmente en preguntas y respuestas de conocimiento y razonamiento general.
Webmaster Home informó que la investigación de CMU mostró que no hay mucha diferencia entre Gemini Pro y GPT-3.5, pero es ligeramente insuficiente en las pruebas de tareas múltiples. La investigación cubre muchos campos y GPT-3.5 lidera el camino en la respuesta a preguntas de conocimiento y el razonamiento general. Aunque Gemini Pro es un modelo multimodal, GPT-3.5 mantiene un rendimiento excelente en la mayoría de las pruebas.
Con todo, esta investigación realizada por CMU proporciona una referencia valiosa para que tengamos una comprensión profunda de las diferencias de rendimiento entre Gemini Pro y GPT-3.5, y también proporciona nueva inspiración para la dirección de desarrollo de modelos de lenguaje a gran escala en el futuro. Aunque Gemini Pro ha hecho algunos intentos en multimodalidad, GPT-3.5 todavía tiene ventajas obvias en capacidades básicas. La investigación de seguimiento puede centrarse en cómo combinar mejor las capacidades multimodales con potentes capacidades de razonamiento.