L'Emirates Technology Innovation Institute (TII) a publié une nouvelle génération de modèles open source Falcon3 en petit langage, qui comprend quatre modèles de tailles différentes et propose deux variantes : la version de base et la version de commande. Cette série de modèles obtient de bons résultats dans le classement Hugging Face, surpassant les modèles open source de même taille et surpassant même des concurrents tels que Google, Meta et Alibaba dans plusieurs tests de référence. La série Falcon3 est efficace et peu coûteuse, et est particulièrement adaptée aux appareils et scénarios d'application avec des ressources informatiques limitées, tels que le service client, les soins de santé et l'Internet des objets. Ses données de formation sont à grande échelle et utilisent une architecture et des mécanismes avancés pour minimiser l'utilisation de la mémoire et améliorer l'efficacité de l'inférence. TII fournit également l'environnement de test Falcon Playground pour permettre aux développeurs et aux chercheurs de l'essayer.
Remarque sur la source de l'image : l'image est générée par l'IA et le fournisseur de services d'autorisation d'image Midjourney
Les performances du Falcon 3 ont dépassé le classement Hugging Face, surpassant les modèles open source de même taille, tels que Meta's Llama et Qwen-2.5. En particulier, les versions 7B et 10B ont démontré des avantages techniques de premier plan en termes de vitesse de raisonnement, de compréhension du langage, d'exécution d'instructions et de tâches de code et de mathématiques, et ont même surpassé des concurrents tels que Google, Meta et Alibaba dans plusieurs tests de référence.
Par rapport aux modèles LLM (grand langage) traditionnels, les modèles SLM présentent les avantages d'une efficacité élevée et d'un faible coût en raison de leur nombre réduit de paramètres et de leur conception plus simple, et sont particulièrement adaptés aux applications dans les domaines du service client, de la santé, de l'Internet des objets et d'autres domaines. Selon le cabinet d'études de marché Values Reports, le marché du SLM devrait connaître une croissance annuelle moyenne de 18 % au cours des cinq prochaines années.
L'échelle des données de formation de la série Falcon3 atteint 14 000 milliards de jetons, soit plus du double de celle de son prédécesseur Falcon2. Cette série adopte une architecture uniquement décodeur et un mécanisme d'attention aux requêtes groupées pour minimiser l'utilisation de la mémoire tout en améliorant l'efficacité de l'inférence. Falcon3 prend en charge quatre langues, dont l'anglais, le français, l'espagnol et le portugais, et est équipé d'une fenêtre contextuelle de 32 Ko, capable de gérer des textes de saisie longs et de répondre aux besoins de diverses industries.
TII a déclaré que le modèle de base de Falcon3 est adapté aux tâches générales, tandis que la version de commande est optimisée pour les tâches conversationnelles telles que le service client et les assistants virtuels. Le lancement de cette série favorisera davantage le développement d'applications informatiques de pointe et sensibles à la confidentialité, prenant en charge des scénarios tels que des recommandations personnalisées, l'analyse de données, le diagnostic médical et l'optimisation de la chaîne d'approvisionnement.
Tous les modèles Falcon3 sont publiés sous la licence TII Falcon 2.0, une licence permissive basée sur Apache 2.0 qui prend en charge le développement et le déploiement responsables de l'IA. Pour aider les développeurs et les chercheurs à démarrer, TII a également lancé l'environnement de test Falcon Playground, dans lequel les utilisateurs peuvent essayer ces modèles avant de les intégrer.
La version open source de la série Falcon3 abaisse le seuil d'application de la technologie de l'IA, fournit aux développeurs et aux chercheurs des outils puissants, accélère l'application et l'innovation de la technologie de l'IA dans divers domaines et annonce la tendance à une vulgarisation et à une démocratisation accrues de la technologie de l'IA.