L'éditeur de Downcodes vous apporte la grande nouveauté du MiniCPM-V2.6 ! Ce modèle d'intelligence artificielle multimodale d'extrémité avec seulement 8B de paramètres a obtenu des résultats SOTA de modèles inférieurs à 20B dans les trois domaines de compréhension d'image unique, multi-image et vidéo. Cela peut être qualifié de miracle des petits modèles ! Il offre non seulement de solides performances, mais atteint également une efficacité opérationnelle et une convivialité extrêmement élevées sur les appareils finaux, offrant de nouvelles possibilités aux applications d'IA finales, même comparables à GPT-4V. Examinons de plus près les puissantes fonctions et caractéristiques de MiniCPM-V2.6.
Le modèle d'intelligence artificielle multimodale d'extrémité de MiniCPM-V2.6 ne comporte que 8B de paramètres, mais a obtenu trois résultats SOTA (état de l'art, le meilleur niveau actuel) de compréhension d'une image unique, d'une image multiple et d'une vidéo inférieure à 20B. Les capacités modales de l’IA end-side ont été considérablement améliorées et sont entièrement alignées sur les niveaux GPT-4V.
Voici un résumé des fonctionnalités :
Caractéristiques du modèle : MiniCPM-V2.6 atteint une transcendance complète des capacités de base telles que la compréhension d'une image unique, de plusieurs images et de vidéos du côté client, et apporte une compréhension vidéo en temps réel, une compréhension conjointe de plusieurs images et d'autres fonctions du côté client. pour la première fois, le rapprochant des scénarios complexes du monde réel.
Efficacité et performances : ce modèle est petit et grand, avec une densité de pixels extrêmement élevée (Token Density), qui est deux fois plus élevée que la densité de pixels d'encodage de jeton unique du GPT-4o, et atteint une efficacité de fonctionnement extrêmement élevée sur les appareils finaux.
Convivialité côté client : le modèle ne nécessite que 6 Go de mémoire après quantification, et la vitesse d'inférence côté client peut atteindre 18 jetons par seconde, soit 33 % plus rapide que le modèle de la génération précédente, et prend en charge plusieurs langues et les cadres d'inférence.
Extension des fonctions : MiniCPM-V2.6 utilise les capacités OCR pour migrer les capacités d'analyse d'image haute définition des scènes à image unique vers des scènes multi-images et vidéo, réduisant ainsi le nombre de jetons visuels et économisant des ressources.
Capacité de raisonnement : il montre une excellente capacité à comprendre plusieurs images et à effectuer des tâches de raisonnement complexes, telles que les instructions étape par étape pour régler un siège de vélo et l'identification des rainures derrière les mèmes.
ICL multi-graphiques : le modèle prend en charge l'apprentissage contextuel en quelques étapes, peut s'adapter rapidement aux tâches dans des domaines spécifiques et améliore la stabilité de la sortie.
Architecture visuelle haute définition : grâce à une architecture visuelle unifiée, les capacités OCR du modèle sont maintenues, permettant une expansion fluide d'images uniques à plusieurs images et vidéos.
Taux d'hallucinations ultra-faible : MiniCPM-V2.6 fonctionne bien dans l'évaluation des hallucinations, démontrant sa crédibilité.
Le lancement du modèle MiniCPM-V2.6 est d'une grande importance pour le développement de l'IA end-side. Il améliore non seulement les capacités de traitement multimodal, mais démontre également la possibilité de réaliser une IA haute performance sur des appareils end-side. ressources limitées.
Adresse open source MiniCPM-V2.6 :
GitHub :
https://github.com/OpenBMB/MiniCPM-V
Visage câlin :
https://huggingface.co/openbmb/MiniCPM-V-2_6
llama.cpp, ollama, adresse du didacticiel de déploiement vllm :
https://modelbest.feishu.cn/docx/Duptdntfro2Clfx2DzuczHxAnhc
Adresse open source de la série MiniCPM :
https://github.com/OpenBMB/MiniCPM
L’émergence de MiniCPM-V2.6 a sans aucun doute donné un élan au développement de la technologie d’IA côté client. Ses performances efficaces et puissantes et sa méthode open source pratique fourniront des ressources précieuses à davantage de développeurs et de chercheurs et favoriseront l’innovation et la vulgarisation des applications d’IA côté appareil. Nous attendons avec impatience que la série MiniCPM apporte d'autres surprises à l'avenir !