Le domaine de l’IA open source a longtemps été limité par les avantages des grandes entreprises technologiques en matière de puissance de calcul et de technologie post-formation. Cependant, le programme post-formation Tülu3 lancé par AI2 (anciennement Allen Artificial Intelligence Institute) tente de changer cette situation. Tülu3 fournit un processus post-formation complet et personnalisable, permettant aux utilisateurs d'ajuster les capacités du modèle en fonction des besoins et, finalement, d'obtenir une application efficace du modèle dans des domaines spécifiques. Cette avancée technologique abaisse non seulement le seuil d’application de l’IA open source, mais offre également aux entreprises et aux institutions des choix plus indépendants et contrôlables, en particulier dans les domaines impliquant le traitement de données sensibles, comme la recherche médicale.
Dans le domaine de l’IA open source, l’écart avec les grandes entreprises technologiques ne se reflète pas uniquement dans la puissance de calcul. AI2 (anciennement Allen Artificial Intelligence Institute) comble cette lacune grâce à une série d'initiatives révolutionnaires. Son nouveau programme de post-formation Tülu3 permet de convertir de grands modèles de langage « originaux » en systèmes d'IA pratiques.
Contrairement à la cognition courante, les modèles linguistiques de base ne peuvent pas être utilisés directement après la pré-formation. En fait, le processus post-formation est le maillon clé qui détermine la valeur finale du modèle. C'est à ce stade que le modèle passe d'un réseau qui « sait tout » mais manque de jugement, à un outil pratique avec une orientation fonctionnelle spécifique.
Pendant longtemps, les grandes entreprises ont gardé le secret sur les programmes de post-formation. Bien que n'importe qui puisse construire un modèle en utilisant les dernières technologies, des techniques post-formation uniques sont nécessaires pour rendre un modèle utile dans des domaines spécifiques, tels que le conseil psychologique ou l'analyse de la recherche. Même pour des projets comme Meta's Llama, annoncé comme « open source », la source de son modèle original et ses méthodes de formation courantes restent strictement confidentielles.
L’émergence de Tülu3 change cette situation. Cet ensemble complet de solutions post-formation couvre une gamme complète de processus allant de la sélection des sujets à la gestion des données, de l'apprentissage par renforcement à la mise au point. Les utilisateurs peuvent ajuster les capacités du modèle en fonction de leurs besoins, par exemple en renforçant les capacités en mathématiques et en programmation, ou en réduisant la priorité du traitement multilingue.
Le test d'AI2 montre que les performances du modèle formé par Tülu3 ont atteint le niveau des meilleurs modèles open source. Cette avancée est significative : elle offre aux entreprises un choix totalement autonome et contrôlable. En particulier pour les institutions qui traitent des données sensibles, telles que la recherche médicale, elles n'ont plus besoin de recourir à des API tierces ou à des services personnalisés. Elles peuvent effectuer l'ensemble du processus de formation localement, réduisant ainsi les coûts et protégeant la confidentialité.
AI2 a non seulement lancé cette solution, mais a également pris les devants en l'appliquant à ses propres produits. Bien que les résultats des tests actuels soient basés sur le modèle Llama, ils prévoient de lancer un nouveau modèle basé sur leur propre OLMo et formé par Tülu3, qui sera une solution véritablement entièrement open source du début à la fin.
Cette technologie open source démontre non seulement la détermination d’AI2 à promouvoir la démocratisation de l’IA, mais donne également un élan à l’ensemble de la communauté de l’IA open source. Cela nous rapproche d’un écosystème d’IA véritablement ouvert et transparent.
L'open source de Tülu3 a insufflé une nouvelle vitalité au développement du domaine de l'IA et a annoncé un avenir plus ouvert et transparent de l'IA. Cela favorisera la vulgarisation et l’application de la technologie de l’IA, favorisera le processus de démocratisation de l’IA et permettra à davantage de personnes de bénéficier des progrès de la technologie de l’IA.