Upstage AI a récemment réalisé une percée majeure et sa méthode d'expansion profonde (DUS) a démontré d'excellentes performances sur le grand modèle SOLAR10.7B. En associant intelligemment deux modèles 7B Alpaca, DUS va au-delà des méthodes traditionnelles d'extension de modèle tout en intégrant efficacement l'infrastructure. Cette méthode est basée sur le substrat Mistral7B, et le modèle de base et le modèle affiné ont été open source pour la commodité des développeurs et des chercheurs. Les retours des utilisateurs ont également confirmé les excellentes performances du DUS dans les applications pratiques, ouvrant de nouvelles orientations et possibilités de développement dans le domaine de l'apprentissage profond.
L’article se concentre sur :
Récemment, la méthode d'expansion profonde (DUS) proposée par Upstage AI a obtenu des résultats impressionnants sur le grand modèle SOLAR10.7B. Elle a épissé de manière innovante deux alpagas 7B pour intégrer efficacement l'infrastructure. En termes de mise en œuvre technique, Mistral7B a été sélectionné comme matériau de base, dépassant avec succès la méthode d'expansion traditionnelle et open source le modèle de base et le modèle de réglage fin. Les retours des utilisateurs montrent que cette technologie est plus performante dans le traitement réel des données, ouvrant ainsi de nouvelles possibilités dans le domaine de l’apprentissage profond.
La méthode DUS d'Upstage AI, avec sa haute efficacité et son open source, fournit de nouvelles idées pour l'expansion et l'application de grands modèles. Ses performances supérieures et sa large applicabilité ouvrent un nouveau chapitre dans le développement futur du domaine de l'apprentissage profond. Nous espérons que davantage de demandes DHS et de résultats de recherche apparaîtront à l’avenir.