Команда OpenCompass из Шанхайской лаборатории искусственного интеллекта Sinan и ModelScope совместно запустила крупное обновление мультимодальной платформы для соревнований больших моделей Compass Multi-Modal Arena! Платформа призвана предоставить пользователям удобную платформу для тестирования и сравнения различных основных мультимодальных больших моделей и, в конечном итоге, помочь пользователям найти модель, которая лучше всего соответствует их потребностям. Редактор Downcodes подробно расскажет вам об этом захватывающем обновлении.
Команда OpenCompass из Шанхайской лаборатории искусственного интеллекта Sinan и ModelScope недавно объявила, что их платформа оценки больших моделей Compass Arena претерпела важное обновление и запустила новый раздел соревнований по мультимодальным большим моделям Compass Multi-Modal Arena. Этот новый раздел предоставляет пользователям платформу, позволяющую испытать и сравнить эффекты различных основных мультимодальных больших моделей, помогая пользователям найти модель, которая лучше всего соответствует их потребностям.
Официальный веб-сайт и страница ModelScope Compass Multi-Modal Arena открыты для публики, предоставляя простой и удобный интерфейс. Пользователи могут загружать изображения и вводить вопросы, а система организует две анонимные мультимодальные большие модели. для генерации ответов на основе входного контента. Пользователи делают субъективные оценки, основываясь на качестве создаваемого контента, выбирая модель, которая, по их мнению, работает лучше. После завершения оценки пользователь может увидеть название каждой модели.
Платформа также имеет встроенный специальный банк вопросов, который удобно использовать пользователям, когда загрузка изображений неудобна. Банк вопросов фокусируется на субъективных визуальных задачах вопросов и ответов, таких как понимание мемов, оценка произведений искусства и оценка фотографий. Целью этого проекта является оценка производительности и пользовательского опыта мультимодальных больших моделей при выполнении субъективных задач.
Официальный сайт Compass Multi-Modal Arena
https://opencompass.org.cn/arena?type=multimodal
Страница ModelScope:
https://modelscope.cn/studios/opencompass/CompassArena
Страница HuggingFace
https://huggingface.co/spaces/opencompass/CompassArena
Ссылка на инструмент мультимодальной оценки OpenCompass с открытым исходным кодом:
https://github.com/open-compass/VLMEvalKit
В целом, обновление Compass Multi-Modal Arena предоставляет новую удобную платформу для оценки и выбора мультимодальных крупных моделей, которая достойна пользовательского опыта и внимания. Мы с нетерпением ждем продолжения обновлений этой платформы в будущем, чтобы преподнести пользователям еще больше сюрпризов!