A equipe OpenCompass do Laboratório de Inteligência Artificial de Xangai Sinan e ModelScope lançaram em conjunto uma grande atualização da plataforma multimodal de competição de grandes modelos Compass Multi-Modal Arena! A plataforma tem como objetivo fornecer aos usuários uma plataforma conveniente para experimentar e comparar vários grandes modelos multimodais convencionais e, em última análise, ajudar os usuários a encontrar o modelo que melhor atende às suas necessidades. O editor de Downcodes apresentará esta atualização emocionante em detalhes.
A equipe OpenCompass do Laboratório de Inteligência Artificial de Xangai Sinan e ModelScope anunciaram recentemente que sua plataforma de avaliação de grandes modelos Compass Arena passou por uma atualização importante e lançou uma nova seção de competição multimodal de grandes modelos Compass Multi-Modal Arena. Esta nova seção fornece uma plataforma para os usuários experimentarem e compararem os efeitos de uma variedade de grandes modelos multimodais convencionais, ajudando os usuários a encontrar o modelo que melhor atende às suas necessidades.
O site oficial e a página ModelScope do Compass Multi-Modal Arena foram abertos ao público, proporcionando uma interface simples e fácil de usar. Os usuários podem fazer upload de imagens e inserir perguntas, e o sistema organizará dois grandes modelos multimodais anônimos. para gerar respostas com base no conteúdo de entrada. Os usuários fazem avaliações subjetivas com base na qualidade do conteúdo gerado, escolhendo o modelo que acreditam ter melhor desempenho. Após a conclusão da avaliação, o usuário poderá ver o nome de cada modelo.
A plataforma também possui um banco de perguntas especial integrado, que é conveniente para os usuários usarem quando o upload de imagens é inconveniente. O banco de perguntas concentra-se em tarefas visuais subjetivas de perguntas e respostas, como compreensão de memes, apreciação de obras de arte e apreciação de fotografias. Este projeto visa avaliar o desempenho e a experiência do usuário de grandes modelos multimodais em tarefas subjetivas.
Site oficial da Arena Multimodal Compass
https://opencompass.org.cn/arena?type=multimodal
Página ModelScope:
https://modelscope.cn/studios/opencompass/CompassArena
Página HuggingFace
https://huggingface.co/spaces/opencompass/CompassArena
Link de código aberto da ferramenta de avaliação multimodal OpenCompass:
https://github.com/open-compass/VLMEvalKit
Em suma, a atualização do Compass Multi-Modal Arena fornece uma plataforma nova e conveniente para a avaliação e seleção de grandes modelos multimodais, que merece a experiência e a atenção do usuário. Esperamos atualizações contínuas desta plataforma no futuro para trazer mais surpresas aos usuários!