Le projet LLM360 a publié deux modèles de langage à grands paramètres 7B, AMBER et CRYSTALCODER, en open source. Cette décision met en évidence l'importance du LLM open source dans le domaine de l'intelligence artificielle. L'initiative vise à promouvoir la transparence des grands modèles de langage open source mondiaux et à promouvoir leur application généralisée dans le monde universitaire et l'industrie. Les performances de pré-formation du modèle AMBER sur quatre ensembles de données sont également démontrées, fournissant une base fiable pour l'évaluation de ses performances. Cela aidera les chercheurs à mieux comprendre et à améliorer la technologie open source des grands modèles de langage.
LLM360 prévoit d'être entièrement open source et de publier deux LLM à paramètres 7B, AMBER et CRYSTALCODER. L'étude souligne l'importance des LLM open source, démontre les performances de pré-formation du modèle AMBER sur quatre ensembles de données et promeut une initiative transparente pour les grands modèles de langage open source mondiaux.
L'initiative open source du programme LLM360 fournit des ressources précieuses aux chercheurs en intelligence artificielle du monde entier et favorise le développement et l'application de la technologie des grands modèles de langage. Elle reflète également son engagement à promouvoir une coopération ouverte dans le domaine de l'intelligence artificielle. Nous sommes impatients de voir des applications plus innovantes basées sur cela à l’avenir.