上海人工知能研究所新安の OpenCompass チームと ModelScope が共同で、マルチモーダル大型モデル コンペティション プラットフォーム Compass Multi-Modal Arena のメジャー アップデートを開始しました。このプラットフォームは、さまざまな主流のマルチモーダル大型モデルを体験および比較するための便利なプラットフォームをユーザーに提供し、最終的にユーザーが自分のニーズに最も適したモデルを見つけられるようにすることを目的としています。 Downcodes の編集者が、このエキサイティングなアップデートを詳しく紹介します。
上海人工知能研究所SinanとModelScopeのOpenCompassチームは最近、大型モデル評価プラットフォームCompass Arenaが重要なアップデートを受け、新しいマルチモーダル大型モデルコンペティションセクションCompass Multi-Modal Arenaを立ち上げたと発表した。この新しいセクションは、ユーザーがさまざまな主流のマルチモーダル大規模モデルの効果を体験および比較できるプラットフォームを提供し、ユーザーが自分のニーズに最適なモデルを見つけるのに役立ちます。
Compass Multi-Modal Arena の公式 Web サイトと ModelScope ページが公開されており、ユーザーは画像をアップロードして質問を入力することができ、システムは 2 つの匿名マルチモーダル大規模モデルを配置します。入力内容に基づいて回答を生成します。ユーザーは生成されたコンテンツの品質に基づいて主観的な評価を行い、よりパフォーマンスが高いと思われるモデルを選択します。評価が完了すると、ユーザーは各モデルの名前を確認できるようになります。
このプラットフォームには、画像のアップロードが不便な場合に便利な特別な質問バンクも組み込まれており、この質問バンクは、ミームの理解、芸術作品の鑑賞、写真の鑑賞など、主観的な視覚的な質問と回答のタスクに焦点を当てています。この設計は、主観的なタスクに関するマルチモーダル大規模モデルのパフォーマンスとユーザー エクスペリエンスを評価することを目的としています。
コンパスマルチモーダルアリーナ公式サイト
https://opencompass.org.cn/arena?type=multimodal
モデルスコープページ:
https://modelscope.cn/studios/opencompass/CompassArena
ハグフェイスページ
https://huggingface.co/spaces/opencompass/CompassArena
OpenCompass マルチモーダル評価ツールのオープンソース リンク:
https://github.com/open-compass/VLMEvalKit
全体として、Compass Multi-Modal Arena のアップデートは、マルチモーダル大規模モデルの評価と選択のための新しくて便利なプラットフォームを提供し、ユーザー エクスペリエンスと注目に値します。 ユーザーにさらなる驚きをもたらすために、今後もこのプラットフォームの継続的なアップデートを楽しみにしています。