L'Emirates Technology Innovation Institute (TII) a publié une nouvelle génération de modèles open source Falcon3 en petit langage, comprenant quatre modèles de tailles différentes (1B, 3B, 7B et 10B) et proposant deux variantes : la version de base et la version d'instructions. Cette version vise à abaisser le seuil d'utilisation de la technologie d'IA et à fournir aux développeurs, aux chercheurs et aux entreprises des solutions d'IA efficaces et économiques. Falcon3 a obtenu de bons résultats dans le classement Hugging Face, surpassant les modèles open source de même taille et surpassant les produits de géants tels que Google, Meta et Alibaba dans plusieurs tests de référence, reflétant sa vitesse d'inférence, sa compréhension du langage et ses avantages techniques dans d'autres domaines. aspects.
Remarque sur la source de l'image : l'image est générée par l'IA et le fournisseur de services d'autorisation d'image Midjourney
Les performances du Falcon 3 ont dépassé le classement Hugging Face, surpassant les modèles open source de même taille, tels que Meta's Llama et Qwen-2.5. En particulier, les versions 7B et 10B ont démontré des avantages techniques de premier plan en termes de vitesse de raisonnement, de compréhension du langage, d'exécution d'instructions et de tâches de code et de mathématiques, et ont même surpassé des concurrents tels que Google, Meta et Alibaba dans plusieurs tests de référence.
Par rapport aux modèles LLM (grand langage) traditionnels, les modèles SLM présentent les avantages d'une efficacité élevée et d'un faible coût en raison de leur nombre réduit de paramètres et de leur conception plus simple, et sont particulièrement adaptés aux applications dans les domaines du service client, de la santé, de l'Internet des objets et d'autres domaines. Le marché du SLM devrait croître à un taux annuel moyen de 18 % au cours des cinq prochaines années, selon le cabinet d'études de marché Values Reports.
L'échelle des données de formation de la série Falcon3 atteint 14 000 milliards de jetons, soit plus du double de celle de son prédécesseur Falcon2. La série adopte une architecture uniquement décodeur et un mécanisme d'attention aux requêtes groupées pour minimiser l'utilisation de la mémoire tout en améliorant l'efficacité de l'inférence. Falcon3 prend en charge quatre langues, dont l'anglais, le français, l'espagnol et le portugais, et est équipé d'une fenêtre contextuelle de 32 Ko, capable de gérer des textes de saisie longs et de répondre aux besoins de diverses industries.
TII a déclaré que le modèle de base de Falcon3 est adapté aux tâches générales, tandis que la version de commande est optimisée pour les tâches conversationnelles telles que le service client et les assistants virtuels. Le lancement de cette série favorisera davantage le développement d'applications informatiques de pointe et sensibles à la confidentialité, prenant en charge des scénarios tels que des recommandations personnalisées, l'analyse de données, le diagnostic médical et l'optimisation de la chaîne d'approvisionnement.
Tous les modèles Falcon3 sont publiés sous la TII Falcon License 2.0, une licence permissive basée sur Apache 2.0 qui prend en charge le développement et le déploiement responsables de l'IA. Pour aider les développeurs et les chercheurs à démarrer, TII a également lancé l'environnement de test Falcon Playground, dans lequel les utilisateurs peuvent essayer ces modèles avant de les intégrer.
Les fonctionnalités open source et les performances efficaces de la série Falcon3 en font un choix idéal pour les applications d'IA légères. Elle devrait accélérer la vulgarisation et l'application de la technologie d'IA dans divers domaines et promouvoir la démocratisation accrue de la technologie d'IA. Ses excellentes performances, surpassant ses concurrents dans plusieurs tests de référence, indiquent également que les petits modèles de langage ont un grand potentiel de développement futur.