カーネギー メロン大学 (CMU) が最近発表した研究レポートでは、Google Gemini Pro と OpenAI GPT-3.5 の詳細な比較分析が行われました。この研究は、知識質問応答や一般推論などの複数の分野をカバーしており、マルチタスク テストを通じて 2 つのモデル間のパフォーマンスの違いを評価しています。レポートの結果は、Gemini Pro にはマルチモーダル モデルとしていくつかの側面で利点があるものの、GPT-3.5 がほとんどのテスト、特に知識に関する質問と回答および一般推論において依然として優れたパフォーマンスを示していることを示しています。
Webmaster Home は、CMU の調査により、Gemini Pro と GPT-3.5 の間に大きな差はないが、マルチタスク テストではわずかに不十分であることが示されたと報告しました。研究は多くの分野をカバーしており、GPT-3.5 は知識の質問への回答と一般的な推論において道をリードしています。 Gemini Pro はマルチモーダル モデルですが、GPT-3.5 はほとんどのテストで優れたパフォーマンスを維持します。
全体として、CMU によるこの研究は、Gemini Pro と GPT-3.5 のパフォーマンスの違いを深く理解するための貴重な参考資料を提供し、また、大規模言語モデルの将来の開発方向に新たなインスピレーションを与えてくれます。 Gemini Pro はマルチモダリティに関していくつかの試みを行ってきましたが、GPT-3.5 には依然としてコア機能において明らかな利点があります。 フォローアップ研究は、マルチモーダル機能と強力な推論機能をより適切に組み合わせる方法に焦点を当てる可能性があります。