Редактор Downcodes сообщает вам важные новости о MiniCPM-V2.6! Эта конечная мультимодальная модель искусственного интеллекта с параметрами всего 8B достигла результатов SOTA моделей ниже 20B в трех областях: понимание одного изображения, нескольких изображений и видео. Это можно назвать чудом малых моделей! Он не только обладает высокой производительностью, но также обеспечивает чрезвычайно высокую эффективность работы и удобство работы с конечными устройствами, открывая новые возможности для конечных приложений искусственного интеллекта, даже сравнимые с GPT-4V. Давайте более подробно рассмотрим мощные функции и особенности MiniCPM-V2.6.
Конечная мультимодальная модель искусственного интеллекта MiniCPM-V2.6 имеет только 8B параметров, но достигла трех результатов SOTA (современный, лучший на данный момент уровень) для понимания одного изображения, нескольких изображений и видео ниже 20B. -модальные возможности конечного ИИ были значительно улучшены и полностью соответствуют уровням GPT-4V.
Ниже приводится краткое изложение особенностей:
Особенности модели: MiniCPM-V2.6 обеспечивает комплексное превосходство основных возможностей, таких как понимание одного изображения, нескольких изображений и видео на стороне клиента, а также обеспечивает понимание видео в реальном времени, совместное понимание нескольких изображений и другие функции на стороне клиента. впервые приближая его к сложным сценариям реального мира.
Эффективность и производительность: эта модель маленькая и большая, с чрезвычайно высокой плотностью пикселей (плотность токенов), которая в два раза превышает плотность пикселей кодирования одного токена GPT-4o, и обеспечивает чрезвычайно высокую эффективность работы на конечных устройствах.
Удобство на стороне клиента: модели требуется всего 6 ГБ памяти после квантования, а скорость вывода на стороне клиента достигает 18 токенов в секунду, что на 33% быстрее, чем модель предыдущего поколения, и поддерживает несколько языков. и рамки вывода.
Расширение функций: MiniCPM-V2.6 использует возможности оптического распознавания символов для переноса возможностей анализа изображений высокой четкости из сцен с одним изображением в сцены с несколькими изображениями и видео, сокращая количество визуальных токенов и экономя ресурсы.
Способность к рассуждению: демонстрирует превосходные способности к пониманию нескольких изображений и сложным логическим задачам, таким как пошаговые инструкции по регулировке сиденья велосипеда и распознавание канавок за мемами.
Многографовый ICL: модель поддерживает контекстное обучение в несколько этапов, может быстро адаптироваться к задачам в конкретных областях и повышает стабильность выходных данных.
Визуальная архитектура высокой четкости. Благодаря унифицированной визуальной архитектуре возможности оптического распознавания модели сохраняются, что позволяет плавно переходить от одного изображения к множеству изображений и видео.
Сверхнизкая частота галлюцинаций: MiniCPM-V2.6 хорошо справляется с оценкой галлюцинаций, демонстрируя свою надежность.
Запуск модели MiniCPM-V2.6 имеет большое значение для развития конечного ИИ. Он не только улучшает возможности мультимодальной обработки, но и демонстрирует возможность реализации высокопроизводительного ИИ на конечных устройствах. ограниченные ресурсы.
Адрес с открытым исходным кодом MiniCPM-V2.6:
Гитхаб:
https://github.com/OpenBMB/MiniCPM-V
Обнимающее лицо:
https://huggingface.co/openbmb/MiniCPM-V-2_6
llama.cpp, ollama, адрес руководства по развертыванию vllm:
https://modelbest.feishu.cn/docx/Duptdntfro2Clfx2DzuczHxAnhc
Адрес открытого исходного кода серии MiniCPM:
https://github.com/OpenBMB/MiniCPM
Появление MiniCPM-V2.6, несомненно, дало толчок развитию технологии искусственного интеллекта на стороне клиента. Его эффективная, мощная производительность и удобный метод с открытым исходным кодом предоставят ценные ресурсы большему количеству разработчиков и исследователей и будут способствовать дальнейшим инновациям и популяризации приложений искусственного интеллекта на стороне устройства. Мы с нетерпением ждем, когда серия MiniCPM принесет еще больше сюрпризов в будущем!