L'Institut Allen pour l'intelligence artificielle a collaboré avec un certain nombre d'universités pour publier conjointement le premier modèle de langage à grande échelle entièrement open source au monde, OLMo. Cela marque une étape importante dans le domaine de l’intelligence artificielle et favorisera le développement d’une technologie à grande échelle plus transparente et ouverte. OLMo comprend des poids de modèle, du code, des ensembles de données et un processus de formation complet. Sa version de paramètres 7B fonctionne bien dans plusieurs tâches. En outre, l'équipe de recherche a également divulgué l'ensemble de données de pré-formation Dolma et fourni des outils de collecte et d'analyse de données pour maximiser la transparence des données, ce qui revêt une importance considérable pour la promotion de la recherche et de l'application de grands modèles de langage dans le monde universitaire et industriel.
L'Institut Allen pour l'intelligence artificielle et plusieurs universités ont publié le premier grand modèle OLMo 100 % open source au monde, comprenant les poids, les codes, les ensembles de données et l'ensemble du processus de formation. L'évaluation des performances montre que l'OLMo-7B est légèrement supérieur dans de nombreuses tâches. Dans le même temps, les chercheurs ont divulgué l'ensemble de données de pré-formation Dolma pour promouvoir la recherche ouverte dans le domaine de la pré-formation des modèles linguistiques. En termes de transparence des données, des outils de collecte de données et des outils d'analyse sont fournis.
La version open source d'OLMo abaisse non seulement le seuil de recherche sur de grands modèles, mais apporte également des ressources précieuses à la communauté mondiale de l'intelligence artificielle, annonçant l'arrivée d'un écosystème d'intelligence artificielle plus ouvert et collaboratif. À l’avenir, nous devrions voir émerger davantage d’applications innovantes et de résultats de recherche basés sur l’OLMo.