Um relatório de pesquisa divulgado recentemente pela Carnegie Mellon University (CMU) conduziu uma análise comparativa aprofundada do Google Gemini Pro e do OpenAI GPT-3.5. A pesquisa cobre vários campos, como resposta a perguntas de conhecimento e raciocínio geral, e avalia a diferença de desempenho entre os dois modelos por meio de testes multitarefa. Os resultados do relatório mostram que embora o Gemini Pro tenha vantagens em alguns aspectos como modelo multimodal, o GPT-3.5 ainda apresenta desempenho mais forte na maioria dos testes, especialmente em perguntas e respostas de conhecimento e raciocínio geral.
Webmaster Home relatou que a pesquisa da CMU mostra que não há muita diferença entre Gemini Pro e GPT-3.5, mas é um pouco insuficiente em testes multitarefa. A pesquisa cobre muitos campos, e o GPT-3.5 lidera na resposta a perguntas de conhecimento e no raciocínio geral. Embora o Gemini Pro seja um modelo multimodal, o GPT-3.5 mantém excelente desempenho na maioria dos testes.
Em suma, esta pesquisa da CMU fornece uma referência valiosa para compreendermos profundamente as diferenças de desempenho entre o Gemini Pro e o GPT-3.5, e também fornece uma nova inspiração para a direção futura do desenvolvimento de grandes modelos de linguagem. Embora o Gemini Pro tenha feito algumas tentativas de multimodalidade, o GPT-3.5 ainda tem vantagens óbvias nas capacidades principais. A investigação de acompanhamento poderá centrar-se na melhor forma de combinar capacidades multimodais com capacidades de raciocínio poderosas.